import warnings
warnings.filterwarnings("ignore")

# Manipulação de Dados
import pandas as pd
from IPython.display import display
import numpy as np

# Visualização de Dados
import matplotlib.pyplot as plt
import matplotlib.patches as mpatches
import seaborn as sns

# Estatística e Testes Estatísticos
import shap
from scipy import stats
from scipy.stats import kurtosis, skew, f_oneway, shapiro, levene, kruskal
import statsmodels.api as sm
from statsmodels.formula.api import ols
from statsmodels.stats.outliers_influence import variance_inflation_factor

# Pré-Processamento de Dados
from sklearn.model_selection import KFold, cross_validate
from sklearn.preprocessing import StandardScaler, LabelEncoder, MinMaxScaler, OneHotEncoder
from imblearn.under_sampling import RandomUnderSampler
from imblearn.over_sampling import SMOTE
from collections import Counter

# Algoritmos de Machine Learning
from sklearn.linear_model import LinearRegression, LogisticRegression
from sklearn.svm import SVC

# Treinamento e Validação de Modelos
from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV, StratifiedKFold

# Avaliação de Modelos
from sklearn.metrics import (
    mean_squared_error, mean_absolute_error, r2_score,
    confusion_matrix, accuracy_score, precision_score, recall_score,
    classification_report, roc_auc_score, roc_curve, ConfusionMatrixDisplay
)
from scikitplot.metrics import plot_confusion_matrix, plot_roc

# Configurações Opcionais
pd.set_option('display.float_format', '{:.2f}'.format)
sns.set_theme(style="whitegrid")
plt.rc("figure", figsize=(10, 6))

# Verificação de Versões
print("Versão do Seaborn:", sns.__version__)
print("Versão do Pandas:", pd.__version__)

Versão do Seaborn: 0.13.2
Versão do Pandas: 2.2.3

path = "/home/buso/mestrado/aedi-ppca/dados/kc_house_data.csv"

data = pd.read_csv(path)
data.head()

def visaogeral(df, messagem):
    print(f'{messagem}:\n')
    print("Qtd Observações:", df.shape[0])
    print("\nQtd Atributos:", df.shape[1])
    print("\nAtributos:")
    print(df.columns.tolist())
    print("\nQtd Valores missing:", df.isnull().sum().values.sum())
    print("\nValores Unicos: indicativo de valores categóricos")
    print(df.nunique().sort_values(ascending=True).head(40))

visaogeral(data,'Visão Geral dataSet treino')

Visão Geral dataSet treino:

Qtd Observações: 21613

Qtd Atributos: 21

Atributos:
['id', 'date', 'price', 'bedrooms', 'bathrooms', 'sqft_living', 'sqft_lot', 'floors', 'waterfront', 'view', 'condition', 'grade', 'sqft_above', 'sqft_basement', 'yr_built', 'yr_renovated', 'zipcode', 'lat', 'long', 'sqft_living15', 'sqft_lot15']

Qtd Valores missing: 0

Valores Unicos: indicativo de valores categóricos
waterfront           2
view                 5
condition            5
floors               6
grade               12
bedrooms            13
bathrooms           30
zipcode             70
yr_renovated        70
yr_built           116
sqft_basement      306
date               372
long               752
sqft_living15      777
sqft_above         946
sqft_living       1038
price             4028
lat               5034
sqft_lot15        8689
sqft_lot          9782
id               21436
dtype: int64

data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 21613 entries, 0 to 21612
Data columns (total 21 columns):
 #   Column         Non-Null Count  Dtype  
---  ------         --------------  -----  
 0   id             21613 non-null  int64  
 1   date           21613 non-null  object 
 2   price          21613 non-null  float64
 3   bedrooms       21613 non-null  int64  
 4   bathrooms      21613 non-null  float64
 5   sqft_living    21613 non-null  int64  
 6   sqft_lot       21613 non-null  int64  
 7   floors         21613 non-null  float64
 8   waterfront     21613 non-null  int64  
 9   view           21613 non-null  int64  
 10  condition      21613 non-null  int64  
 11  grade          21613 non-null  int64  
 12  sqft_above     21613 non-null  int64  
 13  sqft_basement  21613 non-null  int64  
 14  yr_built       21613 non-null  int64  
 15  yr_renovated   21613 non-null  int64  
 16  zipcode        21613 non-null  int64  
 17  lat            21613 non-null  float64
 18  long           21613 non-null  float64
 19  sqft_living15  21613 non-null  int64  
 20  sqft_lot15     21613 non-null  int64  
dtypes: float64(5), int64(15), object(1)
memory usage: 3.5+ MB

data.columns

Index(['id', 'date', 'price', 'bedrooms', 'bathrooms', 'sqft_living',
       'sqft_lot', 'floors', 'waterfront', 'view', 'condition', 'grade',
       'sqft_above', 'sqft_basement', 'yr_built', 'yr_renovated', 'zipcode',
       'lat', 'long', 'sqft_living15', 'sqft_lot15'],
      dtype='object')

X = data.drop("price", axis=1)
y = data["price"]

def missing_values_table(df):
    mis_val = df.isnull().sum()        
    mis_val_percent = 100 * df.isnull().sum() / len(df)        
    mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1)        
    mis_val_table_ren_columns = mis_val_table.rename(
    columns = {0 : 'Missing Values', 1 : '% of Total Values'})        
    mis_val_table_ren_columns = mis_val_table_ren_columns[
    mis_val_table_ren_columns.iloc[:,1] != 0].sort_values(
    '% of Total Values', ascending=False).round(1)
    
    print ("Seu dataframe tem " + str(df.shape[1]) + " colunas.\n"      
        "Há " + str(mis_val_table_ren_columns.shape[0]) +
            " colunas que possuem valores ausentes.")
    
    return mis_val_table_ren_columns

y.isnull().sum()

0

missing_values_table(X)

Seu dataframe tem 20 colunas.
Há 0 colunas que possuem valores ausentes.

y.describe()

count     21613.00
mean     540088.14
std      367127.20
min       75000.00
25%      321950.00
50%      450000.00
75%      645000.00
max     7700000.00
Name: price, dtype: float64

y.quantile([0.80,0.90,0.93,0.94,0.99])

0.80    700108.00
0.90    887000.00
0.93    998000.00
0.94   1063560.00
0.99   1964400.00
Name: price, dtype: float64

plt.figure(figsize=(10, 6))
plt.plot(np.sort(y), label="Preço Venda", color='blue')
plt.title("Amplitude de Preço Venda")
plt.ylabel("Preço de Venda")
plt.legend()

plt.xticks([])
plt.ticklabel_format(style='plain', axis='y')

plt.tight_layout()
plt.show()

sns.set_style("whitegrid")

plt.figure(figsize=(10, 6))

sns.boxplot(y=y, color='blue')
plt.title("Boxplot do preço de venda")
plt.xlabel("Preço Venda")

plt.ticklabel_format(style='plain', axis='y')

plt.tight_layout()
plt.show()

plt.figure(figsize=(10, 6))
sm.qqplot(y, line='s', fit=True)

plt.title("QQ-Plot de SalePrice")

plt.tight_layout()
plt.show()

<Figure size 1000x600 with 0 Axes>

# Estatísticas descritivas adicionais
print("Skewness (Assimetria):", skew(y))
print("Kurtosis (Curtose):", kurtosis(y))

Skewness (Assimetria): 4.023789858140135
Kurtosis (Curtose): 34.577262255687536

plt.figure(figsize=(10, 6))
sns.histplot(y, kde=True, bins=30, color='blue')
plt.title("Histograma de preço de venda")
plt.xlabel("Preço de Venda")
plt.ylabel("Frequência")

plt.ticklabel_format(style='plain', axis='x')

plt.tight_layout()
plt.show()

log_price = np.log1p(y)  # log1p evita problemas com log(0)

# Criando o histograma
plt.figure(figsize=(10, 6))
sns.histplot(log_price, bins=20, kde=True, color='blue', alpha=0.6)
plt.xlabel("Log(Preço de Venda)")
plt.ylabel("Frequência")
plt.title("Histograma do Log do Preço de Venda")
plt.grid(True)
plt.show()

X.head()

localizacao = ['zipcode', 'lat', 'long', 'price']
df_localizacao = data[localizacao]

def atribuir_cor_preco(preco):
    if preco <= 500000:
        return 'green'  # Verde para preços até 500 mil
    elif preco <= 1000000:
        return 'yellow'  # Amarelo para preços entre 500 mil e 1 milhão
    elif preco <= 3000000: # Laranja para preços entre 1 milhão e 3 milhões
        return 'orange'
    elif preco <= 5000000: # Roxo para preços entre 3 milhões e 5 milhões
        return 'purple'
    else:
        return 'red'  # Vermelho para preços acima de 1 milhão

mapa = folium.Map(location=[df_localizacao['lat'].mean(), df_localizacao['long'].mean()], zoom_start=10)

for index, row in df_localizacao.iterrows():
    # Chama a função para obter a cor do preço
    cor = atribuir_cor_preco(row['price'])
    folium.CircleMarker(
        location=[row['lat'], row['long']],
        # tamanho do círculo
        radius=5,
        # define a cor dado o valor da linha
        color=cor,
        fill=True,
        fill_color=cor,
        fill_opacity=0.6,
        # exibe o preço no popup (quando clicar no círculo)
        popup=f"Preço: R${row['price']}"
    ).add_to(mapa)

mapa

estrutura_imovel = ['sqft_living', 'sqft_lot', 'sqft_above', 'sqft_basement', 'floors', 'bedrooms', 'bathrooms']

for feature in estrutura_imovel:
    plt.figure(figsize=(10, 6))
    sns.lineplot(x=X[feature], y=y, palette="viridis", label='Dados de dispersão')
    sns.regplot(x=X[feature], y=y, scatter=False, color='blue', label='Regressão Linear')

    plt.title(f"Relação entre {feature} e Preço Venda")

    plt.ticklabel_format(style='plain', axis='x')
    plt.ticklabel_format(style='plain', axis='y')
    plt.xlabel(feature)
    plt.ylabel("price")
    plt.legend()
    
    plt.tight_layout()
    plt.show()

X['floors'].unique()

array([1. , 2. , 1.5, 3. , 2.5, 3.5])

estrutura_imovel = ['sqft_living', 'sqft_lot', 'sqft_above', 'sqft_basement', 'floors', 'bedrooms', 'bathrooms', 'price']
data[estrutura_imovel].corr()

plt.figure(figsize=(12, 8))
correlation_matrix = data[estrutura_imovel].corr()
sns.heatmap(correlation_matrix, annot=True, cmap="coolwarm", fmt=".2f")
plt.title("Matriz de Correlação - Variáveis Estruturais")
plt.show()

qualidade_construcao = ['grade', 'condition']

for feature in qualidade_construcao:
    plt.figure(figsize=(10, 6))
    sns.boxplot(x=data[feature], y=y, palette="viridis")

    plt.title(f"Relação entre {feature} e Preço Venda")
    plt.xlabel(feature)
    plt.ylabel("price")
    #plt.ticklabel_format(style='plain', axis='x')
    plt.ticklabel_format(style='plain', axis='y')
    
    plt.tight_layout()
    plt.show()

data.groupby('grade')['price'].describe()

grade_counts = data.groupby('grade').size().reset_index(name='counts')

plt.figure(figsize=(10, 6))
sns.barplot(x='grade', y='counts', data=grade_counts)

plt.title('Quantidade de cada categoria de avaliação de qualidade')
plt.xlabel('Grade')
plt.ylabel('Quantidade')

plt.tight_layout()
plt.show()

data.groupby('condition')['price'].describe()

category_counts_agg = data.groupby(['grade', 'condition']).agg(
    mean_price=('price', 'mean'),
    count=('price', 'size')
    ).reset_index()
category_counts_agg

category_counts = data.groupby(['grade', 'condition']).size().unstack(fill_value=0)
palette = sns.light_palette("blue", n_colors=len(category_counts.columns))

category_counts.plot(kind='bar', stacked=True, figsize=(10, 6), color=palette)

plt.title('Quantidade de cada categoria de grade e condition')
plt.xlabel('Grade')
plt.ylabel('Quantidade')
plt.legend(title='Condition')

plt.tight_layout()
plt.show()

idade_construcao = data[['yr_built', 'yr_renovated', 'price']]

plt.figure(figsize=(12,6))
sns.scatterplot(data=idade_construcao, x='yr_built', y='price', alpha=0.5)

plt.title("Relação entre Ano de Construção e Preço de Venda")
plt.xlabel("Ano de Construção")
plt.ylabel("Preço de Venda")
plt.ticklabel_format(style='plain', axis='y')

plt.tight_layout()
plt.show()

idade_construcao['decade_built'] = (idade_construcao['yr_built'] // 10) * 10  # Criar faixas por década

plt.figure(figsize=(12,6))
sns.boxplot(data=idade_construcao, x='decade_built', y='price')

plt.xticks(rotation=45)
plt.title("Distribuição dos Preços por Década de Construção")
plt.xlabel("Década de Construção")
plt.ylabel("Preço de Venda")
plt.ticklabel_format(style='plain', axis='y')

plt.tight_layout()
plt.show()

plt.figure(figsize=(12,6))
sns.scatterplot(data=idade_construcao[idade_construcao['yr_renovated'] > 0], x='yr_renovated', y='price', color='red', label="Reformados")
sns.scatterplot(data=idade_construcao, x='yr_built', y='price', alpha=0.5, label="Ano Construção")

plt.title("Ano de Construção x Ano de Reforma x Preço")
plt.xlabel("Ano")
plt.ylabel("Preço de Venda")
plt.legend()
plt.ticklabel_format(style='plain', axis='y')

plt.tight_layout()
plt.show()

# idade_construcao['yr_renovated'].value_counts()
print(f'Apenas {data.shape[0] - data['yr_renovated'].loc[data['yr_renovated'] == 0].count()} imóveis foram reformados.')

Apenas 914 imóveis foram reformados.

plt.figure(figsize=(8,5))
sns.boxplot(data= data, x='waterfront', y='price')

plt.title("Distribuição de Preços por Presença de Vista para o Mar")
plt.xlabel("Waterfront (0 = Não, 1 = Sim)")
plt.ylabel("Preço de Venda")
plt.ticklabel_format(style='plain', axis='y')

plt.tight_layout()
plt.show()

plt.figure(figsize=(8,5))
sns.boxplot(data=data, x='view', y='price')

plt.title("Distribuição de Preços por Qualidade da Vista")
plt.xlabel("Qualidade da Vista (0 a 4)")
plt.ylabel("Preço de Venda")
plt.ticklabel_format(style='plain', axis='y')

plt.tight_layout()
plt.show()
plt.show()

plt.figure(figsize=(8,5))
sns.scatterplot(data=data, x='sqft_living15', y='price', alpha=0.5)
plt.title("Relação entre Média de Área Útil das 15 Casas Mais Próximas e Preço")
plt.xlabel("Média sqft_living15")
plt.ylabel("Preço de Venda")
plt.show()

plt.figure(figsize=(8,5))
sns.histplot(data['sqft_living15'], bins=30, kde=True)
plt.title("Distribuição da Média da Área Útil das Casas Vizinhas")
plt.xlabel("Média sqft_living15")
plt.ylabel("Frequência")
plt.show()

X.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 21613 entries, 0 to 21612
Data columns (total 20 columns):
 #   Column         Non-Null Count  Dtype  
---  ------         --------------  -----  
 0   id             21613 non-null  int64  
 1   date           21613 non-null  object 
 2   bedrooms       21613 non-null  int64  
 3   bathrooms      21613 non-null  float64
 4   sqft_living    21613 non-null  int64  
 5   sqft_lot       21613 non-null  int64  
 6   floors         21613 non-null  float64
 7   waterfront     21613 non-null  int64  
 8   view           21613 non-null  int64  
 9   condition      21613 non-null  int64  
 10  grade          21613 non-null  int64  
 11  sqft_above     21613 non-null  int64  
 12  sqft_basement  21613 non-null  int64  
 13  yr_built       21613 non-null  int64  
 14  yr_renovated   21613 non-null  int64  
 15  zipcode        21613 non-null  int64  
 16  lat            21613 non-null  float64
 17  long           21613 non-null  float64
 18  sqft_living15  21613 non-null  int64  
 19  sqft_lot15     21613 non-null  int64  
dtypes: float64(4), int64(15), object(1)
memory usage: 3.3+ MB

numerical_features = ['price', 'bedrooms', 'bathrooms', 'sqft_living',
       'floors', 'waterfront', 'view', 'condition', 'grade',
       'sqft_above', 'sqft_basement','sqft_living15']

vif_data = pd.DataFrame()
vif_data["Feature"] = numerical_features
vif_data["VIF"] = [variance_inflation_factor(data[numerical_features].values, i) for i in range(data[numerical_features].shape[1])]

print("\nVariance Inflation Factor (VIF):")
print(vif_data)

Variance Inflation Factor (VIF):
          Feature   VIF
0           price  7.43
1        bedrooms 21.35
2       bathrooms 24.91
3     sqft_living   inf
4          floors 15.80
5      waterfront  1.25
6            view  1.54
7       condition 21.04
8           grade 69.37
9      sqft_above   inf
10  sqft_basement   inf
11  sqft_living15 26.18

numerical_features = ['bedrooms', 'bathrooms', 'sqft_living', 'floors', 'waterfront', 'view', 'condition', 'grade']
vif_data = pd.DataFrame()
vif_data["Feature"] = numerical_features
vif_data["VIF"] = [variance_inflation_factor(data[numerical_features].values, i) for i in range(data[numerical_features].shape[1])]

print("\nVariance Inflation Factor (VIF):")
print(vif_data)

Variance Inflation Factor (VIF):
       Feature   VIF
0     bedrooms 20.49
1    bathrooms 24.38
2  sqft_living 19.37
3       floors 12.89
4   waterfront  1.20
5         view  1.43
6    condition 20.11
7        grade 55.09

# X = X.dropna()
# y = y[X.index]

X.columns

Index(['id', 'date', 'bedrooms', 'bathrooms', 'sqft_living', 'sqft_lot',
       'floors', 'waterfront', 'view', 'condition', 'grade', 'sqft_above',
       'sqft_basement', 'yr_built', 'yr_renovated', 'zipcode', 'lat', 'long',
       'sqft_living15', 'sqft_lot15'],
      dtype='object')

numerical_features = ['bedrooms', 'bathrooms', 'sqft_living',
       'floors', 'waterfront', 'view', 'condition', 'grade']
X = X[numerical_features]

X.head()

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = LinearRegression()

print(X.dtypes)

bedrooms         int64
bathrooms      float64
sqft_living      int64
floors         float64
waterfront       int64
view             int64
condition        int64
grade            int64
dtype: object

model.fit(X_train, y_train)

LinearRegression()

LinearRegression()

coefficients = pd.DataFrame({"Feature": X.columns, "Coefficient": model.coef_})
intercept = model.intercept_

y_pred_train = model.predict(X_train)
y_pred_test = model.predict(X_test)

residuals = y_test - y_pred_test

print("Coeficientes do modelo:")
print(coefficients)

Coeficientes do modelo:
       Feature  Coefficient
0     bedrooms    -30632.18
1    bathrooms     -7969.01
2  sqft_living       190.49
3       floors    -12012.75
4   waterfront    559483.69
5         view     64298.00
6    condition     53036.76
7        grade     98875.62

train_rmse = np.sqrt(mean_squared_error(y_train, y_pred_train))
test_rmse = np.sqrt(mean_squared_error(y_test, y_pred_test))

# quanto menor melhor
print(f'O MSE do modelo é: {train_rmse} para os dados de treino e {test_rmse} para os dados de teste!')

O MSE do modelo é: 228523.7241964183 para os dados de treino e 241797.04179854685 para os dados de teste!

train_mae = np.sqrt(mean_absolute_error(y_train, y_pred_train))
test_mae = np.sqrt(mean_absolute_error(y_test, y_pred_test))

# quanto menor melhor
print(f'O MAE do modelo é: {train_mae} para os dados de treino e {test_mae} para os dados de teste!')

O MAE do modelo é: 389.2203128991908 para os dados de treino e 393.44530256636966 para os dados de teste!

train_r2 = r2_score(y_train, y_pred_train)
test_r2 = r2_score(y_test, y_pred_test)
print(f'O R2 do modelo é: {train_r2} para os dados de treino e {test_r2} para os dados de teste!')

O R2 do modelo é: 0.6002782500272685 para os dados de treino e 0.6132618010425313 para os dados de teste!

print("O MSE do modelo é:", train_rmse)
print("O MAE do modelo é:", train_mae)
print("O R² do modelo é:", train_r2)

O MSE do modelo é: 228523.7241964183
O MAE do modelo é: 389.2203128991908
O R² do modelo é: 0.6002782500272685

plt.figure(figsize=(10, 6))
sns.scatterplot(x=y_pred_test, y=residuals, color="blue")
plt.axhline(0, linestyle="--", color="red")
plt.title("Resíduos vs. Valores Preditos")
plt.xlabel("Valores Preditos")
plt.ylabel("Resíduos")
plt.show()

plt.figure(figsize=(10, 6))
sns.histplot(residuals, kde=True, color="purple")
plt.title("Distribuição dos Resíduos")
plt.xlabel("Resíduos")
plt.ylabel("Frequência")
plt.show()

sm.qqplot(residuals, line="s")
plt.title("QQ-Plot dos Resíduos")
plt.show()

print("Média dos resíduos:", np.mean(residuals))
print("Desvio padrão dos resíduos:", np.std(residuals))

Média dos resíduos: 2608.9596338330316
Desvio padrão dos resíduos: 241782.9662158963

print("O MSE do modelo é:", train_rmse)
print("O MAE do modelo é:", train_mae)
print("O R² do modelo é:", train_r2)

O MSE do modelo é: 228523.7241964183
O MAE do modelo é: 389.2203128991908
O R² do modelo é: 0.6002782500272685

path = "/home/buso/mestrado/aedi-ppca/dados/hotel_bookings.csv"
df = pd.read_csv(path)
print('Os dados possuem {} linhas e {} colunas'.format(df.shape[0], df.shape[1]))
df.head()

Os dados possuem 119390 linhas e 32 colunas

def visaogeral(df, mensagem):
    print(f'{mensagem}:\n')
    print("Qtd Observações:", df.shape[0])
    print("\nQtd Atributos:", df.shape[1])
    print("\nAtributos:")
    print(df.columns.values)
    # print(df.columns.tolist())
    print("\nQtd Valores missing:", df.isnull().sum().values.sum())
    print("\nValores Unicos:")
    print(df.nunique().sort_values(ascending=True))

visaogeral(df,'Visão Geral do dataSet')

Visão Geral do dataSet:

Qtd Observações: 119390

Qtd Atributos: 32

Atributos:
['hotel' 'is_canceled' 'lead_time' 'arrival_date_year'
 'arrival_date_month' 'arrival_date_week_number'
 'arrival_date_day_of_month' 'stays_in_weekend_nights'
 'stays_in_week_nights' 'adults' 'children' 'babies' 'meal' 'country'
 'market_segment' 'distribution_channel' 'is_repeated_guest'
 'previous_cancellations' 'previous_bookings_not_canceled'
 'reserved_room_type' 'assigned_room_type' 'booking_changes'
 'deposit_type' 'agent' 'company' 'days_in_waiting_list' 'customer_type'
 'adr' 'required_car_parking_spaces' 'total_of_special_requests'
 'reservation_status' 'reservation_status_date']

Qtd Valores missing: 129425

Valores Unicos:
hotel                                2
is_canceled                          2
is_repeated_guest                    2
arrival_date_year                    3
deposit_type                         3
reservation_status                   3
customer_type                        4
required_car_parking_spaces          5
meal                                 5
babies                               5
distribution_channel                 5
children                             5
total_of_special_requests            6
market_segment                       8
reserved_room_type                  10
arrival_date_month                  12
assigned_room_type                  12
adults                              14
previous_cancellations              15
stays_in_weekend_nights             17
booking_changes                     21
arrival_date_day_of_month           31
stays_in_week_nights                35
arrival_date_week_number            53
previous_bookings_not_canceled      73
days_in_waiting_list               128
country                            177
agent                              333
company                            352
lead_time                          479
reservation_status_date            926
adr                               8879
dtype: int64

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 119390 entries, 0 to 119389
Data columns (total 32 columns):
 #   Column                          Non-Null Count   Dtype  
---  ------                          --------------   -----  
 0   hotel                           119390 non-null  object 
 1   is_canceled                     119390 non-null  int64  
 2   lead_time                       119390 non-null  int64  
 3   arrival_date_year               119390 non-null  int64  
 4   arrival_date_month              119390 non-null  object 
 5   arrival_date_week_number        119390 non-null  int64  
 6   arrival_date_day_of_month       119390 non-null  int64  
 7   stays_in_weekend_nights         119390 non-null  int64  
 8   stays_in_week_nights            119390 non-null  int64  
 9   adults                          119390 non-null  int64  
 10  children                        119386 non-null  float64
 11  babies                          119390 non-null  int64  
 12  meal                            119390 non-null  object 
 13  country                         118902 non-null  object 
 14  market_segment                  119390 non-null  object 
 15  distribution_channel            119390 non-null  object 
 16  is_repeated_guest               119390 non-null  int64  
 17  previous_cancellations          119390 non-null  int64  
 18  previous_bookings_not_canceled  119390 non-null  int64  
 19  reserved_room_type              119390 non-null  object 
 20  assigned_room_type              119390 non-null  object 
 21  booking_changes                 119390 non-null  int64  
 22  deposit_type                    119390 non-null  object 
 23  agent                           103050 non-null  float64
 24  company                         6797 non-null    float64
 25  days_in_waiting_list            119390 non-null  int64  
 26  customer_type                   119390 non-null  object 
 27  adr                             119390 non-null  float64
 28  required_car_parking_spaces     119390 non-null  int64  
 29  total_of_special_requests       119390 non-null  int64  
 30  reservation_status              119390 non-null  object 
 31  reservation_status_date         119390 non-null  object 
dtypes: float64(4), int64(16), object(12)
memory usage: 29.1+ MB

df.head()

df.tail()

print('Os dados possuem {:.2f} linhas e {} colunas'.format(df.shape[0], df.shape[1]))

Os dados possuem 119390.00 linhas e 32 colunas

# checando índice (endereço de cada obs) e sua distribuição
df.index

RangeIndex(start=0, stop=119390, step=1)

# checando os nomes das colunas
df.columns

Index(['hotel', 'is_canceled', 'lead_time', 'arrival_date_year',
       'arrival_date_month', 'arrival_date_week_number',
       'arrival_date_day_of_month', 'stays_in_weekend_nights',
       'stays_in_week_nights', 'adults', 'children', 'babies', 'meal',
       'country', 'market_segment', 'distribution_channel',
       'is_repeated_guest', 'previous_cancellations',
       'previous_bookings_not_canceled', 'reserved_room_type',
       'assigned_room_type', 'booking_changes', 'deposit_type', 'agent',
       'company', 'days_in_waiting_list', 'customer_type', 'adr',
       'required_car_parking_spaces', 'total_of_special_requests',
       'reservation_status', 'reservation_status_date'],
      dtype='object')

df.head()

X = df.drop(columns= 'is_canceled', axis= 1)
y = df['is_canceled']

y.shape

(119390,)

print('DataSet original com {} atributos e {} observações'.format(df.shape[1], df.shape[0]))
print('As Variáveis Explicatórias possuem {} atributos e {} observações'.format(X.shape[1], X.shape[0]))
print('A Variável Alvo possuem {} observações'.format(y.shape))

DataSet original com 32 atributos e 119390 observações
As Variáveis Explicatórias possuem 31 atributos e 119390 observações
A Variável Alvo possuem (119390,) observações

y.describe()

count    119390.000000
mean          0.370416
std           0.482918
min           0.000000
25%           0.000000
50%           0.000000
75%           1.000000
max           1.000000
Name: is_canceled, dtype: float64

y.unique()

array([0, 1])

print(y.value_counts())
print("\nObserva-se que {:.4f}% do dataSet cancelaram a reserva.".format((df.groupby('is_canceled').size()[1] / df.shape[0])*100))
print("Enquanto que {:.4f}% dos dados não cancelaram suas reservas.".format((df.groupby('is_canceled').size()[0] / df.shape[0])*100))

is_canceled
0    75166
1    44224
Name: count, dtype: int64

Observa-se que 37.0416% do dataSet cancelaram a reserva.
Enquanto que 62.9584% dos dados não cancelaram suas reservas.

# seto algumas caracteristicas para os plots. Padornizar Plots
sns.set_theme(style='darkgrid')
sns.set_palette("hls", 3)

balData = pd.DataFrame(df['is_canceled'].value_counts())
balData['% total'] = round(100*balData['count']/df.shape[0], 2)

print(balData)
churn_plot = sns.countplot(data=df, x='is_canceled', order=df.is_canceled.value_counts().index, hue= 'is_canceled', palette='coolwarm')

plt.title('Distribuição das classes')
plt.ylabel('Quantidade')

plt.tight_layout()
plt.show()

             count  % total
is_canceled                
0            75166    62.96
1            44224    37.04

x_categoricos =  df.select_dtypes(include=['object'])
x_categoricos['is_canceled'] = df['is_canceled']
x_categoricos.head()

x_categoricos.columns

Index(['hotel', 'arrival_date_month', 'meal', 'country', 'market_segment',
       'distribution_channel', 'reserved_room_type', 'assigned_room_type',
       'deposit_type', 'customer_type', 'reservation_status',
       'reservation_status_date', 'is_canceled'],
      dtype='object')

plt.figure(figsize=(8,5))
sns.countplot(data=df, x='hotel', hue='is_canceled', palette= 'coolwarm') 

plt.title("Cancelamentos por Tipo de Hotel")
plt.xlabel("Tipo de Hotel")
plt.ylabel("Quantidade de Reservas")
plt.legend(title="Cancelado", labels=["Não", "Sim"])

plt.tight_layout()
plt.show()

top_countries = df['country'].value_counts().nlargest(10).index
df_country = df[df['country'].isin(top_countries)]

plt.figure(figsize=(12,6))
sns.countplot(data=df_country, y='country', hue='is_canceled', palette='coolwarm', order=top_countries)

plt.title("Top 10 Países com Mais Reservas e Cancelamentos")
plt.xlabel("Quantidade de Reservas")
plt.ylabel("País")
plt.legend(title="Cancelado", labels=["Não", "Sim"])

plt.tight_layout()
plt.show()

plt.figure(figsize=(8,5))
sns.countplot(data=df, x='deposit_type', hue='is_canceled', palette='coolwarm')

plt.title("Distribuição de Cancelamento por Tipo de Depósito")
plt.xlabel("Tipo de Depósito")
plt.ylabel("Quantidade de Reservas")
plt.legend(title="Cancelado", labels=["Não", "Sim"])

plt.tight_layout()
plt.show()

plt.figure(figsize=(12,6))
sns.histplot(data=df, x='arrival_date_month', hue='is_canceled', multiple='stack', palette='coolwarm', shrink=0.8)

plt.title("Reservas e Cancelamentos por Mês")
plt.xlabel("Mês de Chegada")
plt.ylabel("Quantidade de Reservas")
plt.xticks(rotation=45)
plt.legend(title="Cancelado", labels=["Não", "Sim"])

plt.tight_layout()
plt.show()

plt.figure(figsize=(10,5))
sns.countplot(data=df, x='distribution_channel', hue='is_canceled', palette='coolwarm')

plt.title("Taxa de Cancelamento por Canal de Distribuição")
plt.xlabel("Canal de Distribuição")
plt.ylabel("Quantidade de Reservas")
plt.legend(title="Cancelado", labels=["Não", "Sim"])

plt.tight_layout()
plt.show()

x_numericos = df.select_dtypes(include=['int64', 'float64'])

plt.figure(figsize=(10, 5))
sns.kdeplot(data=df, x="lead_time", hue="is_canceled", common_norm=False, fill=True, alpha=0.3, palette='coolwarm')

plt.xlabel("Lead Time (dias)")
plt.ylabel("Densidade")
plt.title("Curva de Densidade do Lead Time por Cancelamento")
plt.legend(title="Cancelado", labels=["Não", "Sim"])

plt.tight_layout()
plt.show()

plt.figure(figsize=(10, 5))
sns.histplot(df[df["is_canceled"] == 0]["adr"], bins=50, kde=True, palette='coolwarm')

plt.xlabel("Preço diária (ADR)")
plt.ylabel("Frequência")
plt.title("Distribuição do preço da diária (ADR) para Reservas Confirmadas")

plt.tight_layout()
plt.show()

plt.figure(figsize=(12, 6))
sns.boxplot(data=df[df["is_canceled"] == 0], x="arrival_date_month", y="adr", hue="hotel", palette='coolwarm')

plt.xlabel("Mês de Chegada")
plt.ylabel("Preço diária (ADR)")
plt.title("Variação do preço da diária ao longo do ano")
plt.legend(title="Tipo de Hotel")
plt.xticks(rotation=45)

plt.tight_layout()
plt.show()

fig, axes = plt.subplots(1, 2, figsize=(14, 5))

sns.boxplot(data=df, x="hotel", y="stays_in_weekend_nights", ax=axes[0], palette='coolwarm')
axes[0].set_title("Diárias fim de semana por tipo de hotel")
axes[0].set_xlabel("Tipo de Hotel")
axes[0].set_ylabel("Diárias - Fim de semana")

sns.boxplot(data=df, x="hotel", y="stays_in_week_nights", ax=axes[1], palette='coolwarm')
axes[1].set_title("Diárias durante a Semana por tipo de hotel")
axes[1].set_xlabel("Tipo de Hotel")
axes[1].set_ylabel("Diárias - Durante a semana")

plt.tight_layout()
plt.show()

x_numericos.skew()

is_canceled                        0.536678
lead_time                          1.346550
arrival_date_year                 -0.232583
arrival_date_week_number          -0.010014
arrival_date_day_of_month         -0.002000
stays_in_weekend_nights            1.380046
stays_in_week_nights               2.862249
adults                            18.317805
children                           4.112590
babies                            24.646545
is_repeated_guest                  5.326315
previous_cancellations            24.458049
previous_bookings_not_canceled    23.539800
booking_changes                    6.000270
agent                              1.089386
company                            0.601600
days_in_waiting_list              11.944353
adr                               10.530214
required_car_parking_spaces        4.163233
total_of_special_requests          1.349189
dtype: float64

fig, ((ax1, ax2, ax3, ax4, ax5), 
      (ax6, ax7, ax8, ax9, ax10), 
      (ax11, ax12, ax13, ax14, ax15), 
      (ax16, ax17, ax18, ax19, ax20)) = plt.subplots(4, 5, figsize=(20, 20))

ax = [ax1, ax2, ax3, ax4, ax5, ax6, ax7, ax8, ax9, ax10, ax11, ax12, ax13, ax14, ax15, ax16, ax17, ax18, ax19, ax20]

for coluna in range(len(x_numericos.columns)):
    sns.distplot(x_numericos.iloc[:, coluna], bins=20, hist=True, ax=ax[coluna], fit=stats.norm)
    ax[coluna].set_title(x_numericos.columns[coluna])

plt.tight_layout()
plt.show()

sns.heatmap(x_numericos.corr(),annot = False, cmap="coolwarm")
plt.title("Matriz de correlação dos dados",fontsize= 15)
plt.show()

# Configurando o tamanho da figura e o layout dos subplots
num_cols = 5  # Número de colunas de subplots
num_rows = len(x_numericos.columns) // num_cols + (len(x_numericos.columns) % num_cols > 0)
fig, axes = plt.subplots(num_rows, num_cols, figsize=(20, 4 * num_rows))

# Flatten the axes array for easy iteration
axes = axes.flatten()

# Loop para criar um boxplot para cada coluna numérica
for i, col in enumerate(x_numericos.columns):
    sns.boxplot(y=df[col], ax=axes[i], palette='coolwarm')
    axes[i].set_title(col)

# Remover subplots vazios
for j in range(i + 1, len(axes)):
    fig.delaxes(axes[j])

df.head()

df_proc = df.copy()
df_proc.head()

from sklearn.impute import SimpleImputer
import numpy as np

# Criando o imputador com estratégia de mediana
imp_num = SimpleImputer(missing_values=np.nan, strategy='median', add_indicator=True)

# Aplicando a imputação nos dados
dados_imputados = imp_num.fit_transform(dados)

pct_miss = 100*df.isnull().sum()/len(df)
pct_miss[(-pct_miss).argsort()]

company                           94.306893
agent                             13.686238
country                            0.408744
children                           0.003350
hotel                              0.000000
total_of_special_requests          0.000000
required_car_parking_spaces        0.000000
adr                                0.000000
customer_type                      0.000000
days_in_waiting_list               0.000000
deposit_type                       0.000000
booking_changes                    0.000000
assigned_room_type                 0.000000
reserved_room_type                 0.000000
previous_bookings_not_canceled     0.000000
previous_cancellations             0.000000
distribution_channel               0.000000
reservation_status                 0.000000
market_segment                     0.000000
meal                               0.000000
babies                             0.000000
adults                             0.000000
stays_in_week_nights               0.000000
stays_in_weekend_nights            0.000000
arrival_date_day_of_month          0.000000
arrival_date_week_number           0.000000
arrival_date_month                 0.000000
arrival_date_year                  0.000000
lead_time                          0.000000
is_canceled                        0.000000
is_repeated_guest                  0.000000
reservation_status_date            0.000000
dtype: float64

print(f'dados antes do tratamento de missing values: {df_proc.shape}')

dados antes do tratamento de missing values: (119390, 32)

df_proc= df_proc.drop(columns=['company', 'agent', 'country', 'reservation_status_date', 'reservation_status'])
print(f'dados após o primeiro tratamento de missing values: {df_proc.shape}')

dados após o primeiro tratamento de missing values: (119390, 27)

df_proc= df_proc.dropna(subset=['children'])
print(f'dados após o segundo tratamento de missing values: {df_proc.shape}')

dados após o segundo tratamento de missing values: (119386, 27)

df_proc[df_proc.select_dtypes(include=['object']).columns].nunique().sort_values(ascending=True)

hotel                    2
deposit_type             3
customer_type            4
meal                     5
distribution_channel     5
market_segment           7
reserved_room_type      10
arrival_date_month      12
assigned_room_type      12
dtype: int64

df_proc.select_dtypes(include=['object']).columns

Index(['hotel', 'arrival_date_month', 'meal', 'market_segment',
       'distribution_channel', 'reserved_room_type', 'assigned_room_type',
       'deposit_type', 'customer_type'],
      dtype='object')

label_encoder = LabelEncoder()

df_proc['hotel'] = label_encoder.fit_transform(df_proc['hotel'])
print(df_proc['hotel'].head())

0    1
1    1
2    1
3    1
4    1
Name: hotel, dtype: int64

print(f'dataset antes do tratamento de variáveis categóricas: {df_proc.shape}')

dataset antes do tratamento de variáveis categóricas: (119386, 27)

colunas_dummies = ['arrival_date_month', 'meal', 'market_segment', 'distribution_channel', 'reserved_room_type',\
                    'assigned_room_type', 'deposit_type', 'customer_type']

df_proc.head()

df_proc = pd.get_dummies(df_proc, columns=colunas_dummies, dtype=int, drop_first=True)
print(f'dataset após o tratamento de variáveis categóricas: {df_proc.shape}')

dataset após o tratamento de variáveis categóricas: (119386, 69)

df_proc.head()

df_proc.info()

<class 'pandas.core.frame.DataFrame'>
Index: 119386 entries, 0 to 119389
Data columns (total 69 columns):
 #   Column                          Non-Null Count   Dtype  
---  ------                          --------------   -----  
 0   hotel                           119386 non-null  int64  
 1   is_canceled                     119386 non-null  int64  
 2   lead_time                       119386 non-null  int64  
 3   arrival_date_year               119386 non-null  int64  
 4   arrival_date_week_number        119386 non-null  int64  
 5   arrival_date_day_of_month       119386 non-null  int64  
 6   stays_in_weekend_nights         119386 non-null  int64  
 7   stays_in_week_nights            119386 non-null  int64  
 8   adults                          119386 non-null  int64  
 9   children                        119386 non-null  float64
 10  babies                          119386 non-null  int64  
 11  is_repeated_guest               119386 non-null  int64  
 12  previous_cancellations          119386 non-null  int64  
 13  previous_bookings_not_canceled  119386 non-null  int64  
 14  booking_changes                 119386 non-null  int64  
 15  days_in_waiting_list            119386 non-null  int64  
 16  adr                             119386 non-null  float64
 17  required_car_parking_spaces     119386 non-null  int64  
 18  total_of_special_requests       119386 non-null  int64  
 19  arrival_date_month_August       119386 non-null  int64  
 20  arrival_date_month_December     119386 non-null  int64  
 21  arrival_date_month_February     119386 non-null  int64  
 22  arrival_date_month_January      119386 non-null  int64  
 23  arrival_date_month_July         119386 non-null  int64  
 24  arrival_date_month_June         119386 non-null  int64  
 25  arrival_date_month_March        119386 non-null  int64  
 26  arrival_date_month_May          119386 non-null  int64  
 27  arrival_date_month_November     119386 non-null  int64  
 28  arrival_date_month_October      119386 non-null  int64  
 29  arrival_date_month_September    119386 non-null  int64  
 30  meal_FB                         119386 non-null  int64  
 31  meal_HB                         119386 non-null  int64  
 32  meal_SC                         119386 non-null  int64  
 33  meal_Undefined                  119386 non-null  int64  
 34  market_segment_Complementary    119386 non-null  int64  
 35  market_segment_Corporate        119386 non-null  int64  
 36  market_segment_Direct           119386 non-null  int64  
 37  market_segment_Groups           119386 non-null  int64  
 38  market_segment_Offline TA/TO    119386 non-null  int64  
 39  market_segment_Online TA        119386 non-null  int64  
 40  distribution_channel_Direct     119386 non-null  int64  
 41  distribution_channel_GDS        119386 non-null  int64  
 42  distribution_channel_TA/TO      119386 non-null  int64  
 43  distribution_channel_Undefined  119386 non-null  int64  
 44  reserved_room_type_B            119386 non-null  int64  
 45  reserved_room_type_C            119386 non-null  int64  
 46  reserved_room_type_D            119386 non-null  int64  
 47  reserved_room_type_E            119386 non-null  int64  
 48  reserved_room_type_F            119386 non-null  int64  
 49  reserved_room_type_G            119386 non-null  int64  
 50  reserved_room_type_H            119386 non-null  int64  
 51  reserved_room_type_L            119386 non-null  int64  
 52  reserved_room_type_P            119386 non-null  int64  
 53  assigned_room_type_B            119386 non-null  int64  
 54  assigned_room_type_C            119386 non-null  int64  
 55  assigned_room_type_D            119386 non-null  int64  
 56  assigned_room_type_E            119386 non-null  int64  
 57  assigned_room_type_F            119386 non-null  int64  
 58  assigned_room_type_G            119386 non-null  int64  
 59  assigned_room_type_H            119386 non-null  int64  
 60  assigned_room_type_I            119386 non-null  int64  
 61  assigned_room_type_K            119386 non-null  int64  
 62  assigned_room_type_L            119386 non-null  int64  
 63  assigned_room_type_P            119386 non-null  int64  
 64  deposit_type_Non Refund         119386 non-null  int64  
 65  deposit_type_Refundable         119386 non-null  int64  
 66  customer_type_Group             119386 non-null  int64  
 67  customer_type_Transient         119386 non-null  int64  
 68  customer_type_Transient-Party   119386 non-null  int64  
dtypes: float64(2), int64(67)
memory usage: 63.8 MB

df_proc.corr()

pd.set_option('display.max_rows', None)
df_proc.corr().iloc[1]

hotel                            -0.136505
is_canceled                       1.000000
lead_time                         0.293177
arrival_date_year                 0.016732
arrival_date_week_number          0.008132
arrival_date_day_of_month        -0.006084
stays_in_weekend_nights          -0.001783
stays_in_week_nights              0.024771
adults                            0.059990
children                          0.005048
babies                           -0.032488
is_repeated_guest                -0.084788
previous_cancellations            0.110140
previous_bookings_not_canceled   -0.057355
booking_changes                  -0.144371
days_in_waiting_list              0.054193
adr                               0.047622
required_car_parking_spaces      -0.195492
total_of_special_requests        -0.234706
arrival_date_month_August         0.005223
arrival_date_month_December      -0.010513
arrival_date_month_February      -0.020201
arrival_date_month_January       -0.031064
arrival_date_month_July           0.002953
arrival_date_month_June           0.029054
arrival_date_month_March         -0.030254
arrival_date_month_May            0.018004
arrival_date_month_November      -0.029534
arrival_date_month_October        0.006697
arrival_date_month_September      0.013707
meal_FB                           0.038832
meal_HB                          -0.019829
meal_SC                           0.001296
meal_Undefined                   -0.025893
market_segment_Complementary     -0.039304
market_segment_Corporate         -0.081660
market_segment_Direct            -0.154420
market_segment_Groups             0.221886
market_segment_Offline TA/TO     -0.028451
market_segment_Online TA         -0.006269
distribution_channel_Direct      -0.151609
distribution_channel_GDS         -0.014889
distribution_channel_TA/TO        0.176056
distribution_channel_Undefined   -0.002220
reserved_room_type_B             -0.008771
reserved_room_type_C             -0.007333
reserved_room_type_D             -0.047684
reserved_room_type_E             -0.038625
reserved_room_type_F             -0.021760
reserved_room_type_G             -0.001666
reserved_room_type_H              0.005488
reserved_room_type_L             -0.000544
reserved_room_type_P              0.013072
assigned_room_type_B             -0.037967
assigned_room_type_C             -0.053872
assigned_room_type_D             -0.128017
assigned_room_type_E             -0.064784
assigned_room_type_F             -0.045971
assigned_room_type_G             -0.019858
assigned_room_type_H             -0.002866
assigned_room_type_I             -0.040783
assigned_room_type_K             -0.032811
assigned_room_type_L              0.003773
assigned_room_type_P              0.013072
deposit_type_Non Refund           0.481488
deposit_type_Refundable          -0.011310
customer_type_Group              -0.038696
customer_type_Transient           0.133170
customer_type_Transient-Party    -0.124231
Name: is_canceled, dtype: float64

pd.reset_option('display.max_rows')

df_proc.columns

Index(['hotel', 'is_canceled', 'lead_time', 'arrival_date_year',
       'arrival_date_week_number', 'arrival_date_day_of_month',
       'stays_in_weekend_nights', 'stays_in_week_nights', 'adults', 'children',
       'babies', 'is_repeated_guest', 'previous_cancellations',
       'previous_bookings_not_canceled', 'booking_changes',
       'days_in_waiting_list', 'adr', 'required_car_parking_spaces',
       'total_of_special_requests', 'arrival_date_month_August',
       'arrival_date_month_December', 'arrival_date_month_February',
       'arrival_date_month_January', 'arrival_date_month_July',
       'arrival_date_month_June', 'arrival_date_month_March',
       'arrival_date_month_May', 'arrival_date_month_November',
       'arrival_date_month_October', 'arrival_date_month_September', 'meal_FB',
       'meal_HB', 'meal_SC', 'meal_Undefined', 'market_segment_Complementary',
       'market_segment_Corporate', 'market_segment_Direct',
       'market_segment_Groups', 'market_segment_Offline TA/TO',
       'market_segment_Online TA', 'distribution_channel_Direct',
       'distribution_channel_GDS', 'distribution_channel_TA/TO',
       'distribution_channel_Undefined', 'reserved_room_type_B',
       'reserved_room_type_C', 'reserved_room_type_D', 'reserved_room_type_E',
       'reserved_room_type_F', 'reserved_room_type_G', 'reserved_room_type_H',
       'reserved_room_type_L', 'reserved_room_type_P', 'assigned_room_type_B',
       'assigned_room_type_C', 'assigned_room_type_D', 'assigned_room_type_E',
       'assigned_room_type_F', 'assigned_room_type_G', 'assigned_room_type_H',
       'assigned_room_type_I', 'assigned_room_type_K', 'assigned_room_type_L',
       'assigned_room_type_P', 'deposit_type_Non Refund',
       'deposit_type_Refundable', 'customer_type_Group',
       'customer_type_Transient', 'customer_type_Transient-Party'],
      dtype='object')

df_proc= df_proc.drop(columns=[ 'arrival_date_month_August', 'arrival_date_month_December', 'arrival_date_month_February',\
                                'arrival_date_month_January', 'arrival_date_month_July', 'arrival_date_month_June', 'arrival_date_month_March',\
                                'arrival_date_month_May', 'arrival_date_month_November', 'arrival_date_month_October', 'arrival_date_month_September',\
                                'arrival_date_week_number', 'arrival_date_day_of_month', 'adults', 'children', 'babies', 'stays_in_weekend_nights', 'stays_in_week_nights'])

print(f'dataset após o processamento: {df_proc.shape}')

dataset após o processamento: (119386, 51)

df_proc.head()

X = df_proc.drop(columns= ['is_canceled'], axis= 1)
y = df_proc.is_canceled

X_treino, X_teste, y_treino, y_teste = train_test_split(X, y, stratify=y, shuffle=True)

print('tamanho total dos dados são {}, para treino temos {} e teste são {}'.format(df_proc.shape[0], len(X_treino), len(X_teste)))

tamanho total dos dados são 119386, para treino temos 89539 e teste são 29847

vif_data = pd.DataFrame()
vif_data['Feature'] = X_treino.columns
vif_data['VIF'] = [variance_inflation_factor(X_treino.values, i) for i in range(X_treino.shape[1])]

print("Valores de VIF para cada variável:")
print(vif_data)

Valores de VIF para cada variável:
                                          Feature   VIF
0                                        duration  5.91
1                                   credit_amount  5.39
2                          installment_commitment 10.52
3                                 residence_since  9.75
4                                             age  4.56
5                                existing_credits 11.91
6                                  num_dependents 12.52
7                                   own_telephone  2.24
8                                  foreign_worker 28.04
9                         other_parties_guarantor  2.18
10                             other_parties_none 23.94
11                       other_payment_plans_none  7.66
12                     other_payment_plans_stores  1.41
13                                    housing_own 16.72
14                                   housing_rent  4.54
15                             checking_status_<0  2.33
16                          checking_status_>=200  1.32
17                    checking_status_no checking  2.83
18                   personal_status_male div/sep  1.25
19                   personal_status_male mar/wid  1.38
20                    personal_status_male single  3.73
21              property_magnitude_life insurance  1.88
22           property_magnitude_no known property  3.20
23                 property_magnitude_real estate  2.23
24                                    job_skilled  7.56
25                    job_unemp/unskilled non res  1.47
26                         job_unskilled resident  3.52
27  credit_history_critical/other existing credit  8.89
28              credit_history_delayed previously  3.23
29                   credit_history_existing paid 12.62
30             credit_history_no credits/all paid  2.04
31                     savings_status_500<=X<1000  1.74
32                            savings_status_<100  7.48
33                          savings_status_>=1000  1.56
34                savings_status_no known savings  3.17
35                              employment_4<=X<7  1.61
36                                  employment_<1  1.69
37                                 employment_>=7  2.20
38                          employment_unemployed  1.75
39                     purpose_domestic appliance  1.22
40                              purpose_education  1.71
41                    purpose_furniture/equipment  3.16
42                                purpose_new car  3.86
43                                  purpose_other  1.21
44                               purpose_radio/tv  4.32
45                                purpose_repairs  1.30
46                             purpose_retraining  1.20
47                               purpose_used car  2.34

# Instanciar o modelo
ridge_model = LogisticRegression(penalty='l2', solver='lbfgs', max_iter=1000, random_state=42)

# Treinar o modelo
ridge_model.fit(X_treino, y_treino)

LogisticRegression(max_iter=1000, random_state=42)

LogisticRegression(max_iter=1000, random_state=42)

# Avaliar coeficientes após regularização
coef_df = pd.DataFrame({'Feature': X_treino.columns, 'Coefficient': ridge_model.coef_[0]})
print(coef_df.sort_values(by='Coefficient', ascending=False))

                           Feature  Coefficient
45         deposit_type_Non Refund     5.936046
4           previous_cancellations     3.406655
27            reserved_room_type_D     0.856323
20        market_segment_Online TA     0.765776
48         customer_type_Transient     0.532560
28            reserved_room_type_E     0.508711
11                         meal_FB     0.308719
26            reserved_room_type_C     0.245691
25            reserved_room_type_B     0.236302
0                            hotel     0.215996
23      distribution_channel_TA/TO     0.176384
13                         meal_SC     0.095766
15    market_segment_Complementary     0.069976
30            reserved_room_type_G     0.066661
49   customer_type_Transient-Party     0.035394
33            reserved_room_type_P     0.031387
44            assigned_room_type_P     0.031387
46         deposit_type_Refundable     0.008175
8                              adr     0.005498
1                        lead_time     0.004199
43            assigned_room_type_L     0.000000
24  distribution_channel_Undefined    -0.000310
7             days_in_waiting_list    -0.000522
2                arrival_date_year    -0.001076
32            reserved_room_type_L    -0.001119
29            reserved_room_type_F    -0.001789
16        market_segment_Corporate    -0.002077
31            reserved_room_type_H    -0.052992
18           market_segment_Groups    -0.063287
21     distribution_channel_Direct    -0.070214
47             customer_type_Group    -0.070670
40            assigned_room_type_H    -0.122995
22        distribution_channel_GDS    -0.140848
17           market_segment_Direct    -0.150251
12                         meal_HB    -0.170786
42            assigned_room_type_K    -0.222342
41            assigned_room_type_I    -0.300484
34            assigned_room_type_B    -0.316117
14                  meal_Undefined    -0.329256
6                  booking_changes    -0.382760
39            assigned_room_type_G    -0.401218
3                is_repeated_guest    -0.468324
35            assigned_room_type_C    -0.544646
38            assigned_room_type_F    -0.602136
5   previous_bookings_not_canceled    -0.607917
19    market_segment_Offline TA/TO    -0.610231
37            assigned_room_type_E    -0.671326
10       total_of_special_requests    -0.727341
36            assigned_room_type_D    -1.078639
9      required_car_parking_spaces    -3.714556

# Probabilidades previstas (classe positiva)
y_prob = ridge_model.predict_proba(X_teste)[:, 1]

# Curva ROC
fpr, tpr, thresholds = roc_curve(y_teste, y_prob)
auc = roc_auc_score(y_teste, y_prob)

# Plot da Curva ROC
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, label=f'AUC = {auc:.2f}', color='blue')
plt.plot([0, 1], [0, 1], 'k--', label='Modelo Aleatório')
plt.title('Curva ROC')
plt.xlabel('Taxa de Falsos Positivos (FPR)')
plt.ylabel('Taxa de Verdadeiros Positivos (TPR)')
plt.legend(loc='lower right')
plt.grid()
plt.show()
plt.tight_layout();

<Figure size 640x480 with 0 Axes>

# Impressão das métricas de classificação
y_pred = ridge_model.predict(X_teste)
print("\nRelatório de Classificação:\n", classification_report(y_teste, y_pred))

Relatório de Classificação:
               precision    recall  f1-score   support

           0       0.80      0.93      0.86     18792
           1       0.84      0.60      0.70     11055

    accuracy                           0.81     29847
   macro avg       0.82      0.77      0.78     29847
weighted avg       0.81      0.81      0.80     29847

# Matriz de confusão
cm = confusion_matrix(y_teste, y_pred)
tn, fp, fn, tp = cm.ravel()
specificity = tn / (tn + fp)
print(f"Especificidade: {specificity:.2f}")

disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=ridge_model.classes_)
disp.plot(cmap='Blues', values_format='d')
plt.title('Matriz de Confusão')
plt.grid(False)
plt.show()

Especificidade: 0.93

# Carregar o dataset
try:
    df_2010_2011 = pd.read_csv("/home/buso/mestrado/aedi-ppca/dados/Year 2010-2011.csv", encoding='latin1')
    df_2009_2010 = pd.read_csv("/home/buso/mestrado/aedi-ppca/dados/Year 2009-2010.csv", encoding='latin1')
    df_vendas = pd.read_csv("//home/buso/mestrado/aedi-ppca/dados/online_retail_II.csv", encoding='latin1',  on_bad_lines='skip', delimiter=';')
except FileNotFoundError:
    print("Arquivo não encontrado. Por favor, verifique o caminho do dataset.")

df_2009_2010.columns

Index(['Invoice', 'StockCode', 'Description', 'Quantity', 'InvoiceDate',
       'Price', 'Customer ID', 'Country'],
      dtype='object')

df_2010_2011.columns

Index(['Invoice', 'StockCode', 'Description', 'Quantity', 'InvoiceDate',
       'Price', 'Customer ID', 'Country'],
      dtype='object')

df_vendas.columns

Index(['ï»¿Invoice', 'StockCode', 'Description', 'Quantity', 'InvoiceDate',
       'Price', 'Customer ID', 'Country'],
      dtype='object')

df_vendas.columns

Index(['ï»¿Invoice', 'StockCode', 'Description', 'Quantity', 'InvoiceDate',
       'Price', 'Customer ID', 'Country'],
      dtype='object')

df = pd.concat([df_2009_2010, df_2010_2011], ignore_index=True)
df.head()

# 1. Informações gerais sobre colunas e tipos de dados
print("\nInformações gerais sobre o dataset:")
print(df.info())

Informações gerais sobre o dataset:
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1067371 entries, 0 to 1067370
Data columns (total 8 columns):
 #   Column       Non-Null Count    Dtype  
---  ------       --------------    -----  
 0   Invoice      1067371 non-null  object 
 1   StockCode    1067371 non-null  object 
 2   Description  1062989 non-null  object 
 3   Quantity     1067371 non-null  int64  
 4   InvoiceDate  1067371 non-null  object 
 5   Price        1067371 non-null  float64
 6   Customer ID  824364 non-null   float64
 7   Country      1067371 non-null  object 
dtypes: float64(2), int64(1), object(5)
memory usage: 65.1+ MB
None

# 2. Dimensionalidade do dataset
print(f"Dimensões do dataset: {df.shape}")

Dimensões do dataset: (1067371, 8)

# 3. Primeiras linhas do dataset
print("\nPrimeiras 5 linhas do dataset:")
df.head()

Primeiras 5 linhas do dataset:

# Exibir primeiras linhas
display(df.head())

# Verificar valores ausentes
display(df.isnull().sum())

# Verificar estatísticas descritivas
display(df.describe())

Invoice             0
StockCode           0
Description      4382
Quantity            0
InvoiceDate         0
Price               0
Customer ID    243007
Country             0
dtype: int64

# 4. Exploração gráfica
plt.figure(figsize=(14, 6))
sns.boxplot(x="Country", y="Quantity", data=df)
plt.title("Distribuição da Quantidade Vendida por País")
plt.xticks(rotation=45)
plt.show()

plt.figure(figsize=(14, 6))
sns.boxplot(x="Country", y="Price", data=df)
plt.title("Distribuição do Preço Unitário por País")
plt.xticks(rotation=45)
plt.show()

print(f'Nos dados são comercializados cerca de {df['Description'].nunique()} produtos.')

Nos dados são comercializados cerca de 5698 produtos.

df['Description'].value_counts().head(10)

Description
WHITE HANGING HEART T-LIGHT HOLDER    5918
REGENCY CAKESTAND 3 TIER              4412
JUMBO BAG RED RETROSPOT               3469
ASSORTED COLOUR BIRD ORNAMENT         2958
PARTY BUNTING                         2765
STRAWBERRY CERAMIC TRINKET BOX        2613
LUNCH BAG  BLACK SKULL.               2529
JUMBO STORAGE BAG SUKI                2434
HEART OF WICKER SMALL                 2319
JUMBO SHOPPER VINTAGE RED PAISLEY     2297
Name: count, dtype: int64

print(df[['Quantity', 'Price']].describe())

        Quantity      Price
count 1067371.00 1067371.00
mean        9.94       4.65
std       172.71     123.55
min    -80995.00  -53594.36
25%         1.00       1.25
50%         3.00       2.10
75%        10.00       4.15
max     80995.00   38970.00

print(df['Country'].value_counts())

Country
United Kingdom          981330
EIRE                     17866
Germany                  17624
France                   14330
Netherlands               5140
Spain                     3811
Switzerland               3189
Belgium                   3123
Portugal                  2620
Australia                 1913
Channel Islands           1664
Italy                     1534
Norway                    1455
Sweden                    1364
Cyprus                    1176
Finland                   1049
Austria                    938
Denmark                    817
Unspecified                756
Greece                     663
Japan                      582
Poland                     535
USA                        535
United Arab Emirates       500
Israel                     371
Hong Kong                  364
Singapore                  346
Malta                      299
Iceland                    253
Canada                     228
Lithuania                  189
RSA                        169
Bahrain                    126
Brazil                      94
Thailand                    76
Korea                       63
European Community          61
Lebanon                     58
West Indies                 54
Bermuda                     34
Nigeria                     32
Czech Republic              30
Saudi Arabia                10
Name: count, dtype: int64

media_quantidade_preco = df.groupby('Country')[['Quantity', 'Price']].mean().reset_index()

print(media_quantidade_preco.sort_values(by='Quantity', ascending=False))

                 Country  Quantity  Price
10               Denmark    287.90   2.93
4                Bermuda     82.29   2.49
26           Netherlands     74.31   3.05
35                Sweden     64.42   6.39
21                 Japan     54.68   2.16
0              Australia     54.21   4.24
37              Thailand     33.58   3.00
33             Singapore     20.19  73.65
9         Czech Republic     19.73   2.94
17             Hong Kong     19.44  57.57
28                Norway     18.63  28.27
11                  EIRE     18.55   7.01
36           Switzerland     16.42   3.78
6                 Canada     16.04   4.64
24             Lithuania     15.65   2.62
19                Israel     14.78   3.57
13               Finland     13.65   4.99
39  United Arab Emirates     13.46   5.11
18               Iceland     12.99   2.55
14                France     12.91   4.69
15               Germany     12.74   3.83
7        Channel Islands     12.30   5.44
1                Austria     12.05   4.46
34                 Spain     11.85   5.39
31                   RSA     11.66  19.85
16                Greece     11.62   3.92
3                Belgium     11.25   4.73
30              Portugal     10.71   6.54
29                Poland     10.55   3.63
2                Bahrain     10.12   3.49
20                 Italy      9.98   5.53
22                 Korea      9.49   2.38
8                 Cyprus      9.09   5.39
41           Unspecified      8.88   4.52
40        United Kingdom      8.86   4.54
25                 Malta      8.33  21.99
12    European Community      8.15   4.82
23               Lebanon      7.88   6.18
32          Saudi Arabia      7.50   2.41
42           West Indies      7.31   2.27
38                   USA      6.92   3.28
5                 Brazil      5.80   2.73
27               Nigeria      1.75   3.42

# 5. Verificar valores ausentes
print("\nResumo de valores ausentes por coluna:")
missing_data = df.isnull().sum()
missing_data = missing_data[missing_data > 0].sort_values(ascending=False)
print(missing_data)

Resumo de valores ausentes por coluna:
Customer ID    243007
Description      4382
dtype: int64

# 6. Estatísticas descritivas para variáveis numéricas
print("\nEstatísticas descritivas das variáveis numéricas:")
print(df.describe().transpose())

Estatísticas descritivas das variáveis numéricas:
                 count     mean     std       min      25%      50%      75%  \
Quantity    1067371.00     9.94  172.71 -80995.00     1.00     3.00    10.00   
Price       1067371.00     4.65  123.55 -53594.36     1.25     2.10     4.15   
Customer ID  824364.00 15324.64 1697.46  12346.00 13975.00 15255.00 16797.00   

                 max  
Quantity    80995.00  
Price       38970.00  
Customer ID 18287.00

# 7. Listar variáveis categóricas
categorical_cols = df.select_dtypes(include=['object']).columns
print("\nVariáveis categóricas:")
print(categorical_cols)

Variáveis categóricas:
Index(['Invoice', 'StockCode', 'Description', 'InvoiceDate', 'Country'], dtype='object')

df.nunique().sort_values()

Country           43
Quantity        1057
Price           2807
StockCode       5305
Description     5698
Customer ID     5942
InvoiceDate    47635
Invoice        53628
dtype: int64

saleprice_skewness = skew(df["Price"], bias=False)
print(f"Skewness de Price: {saleprice_skewness}")

Skewness de SalePrice: -69.16473385725452

plt.figure(figsize=(8, 6))
sns.boxplot(x=df["Price"], color="orange")
plt.title("Boxplot de Price para Identificação de Outliers")
plt.xlabel("Preço de Venda (Price)")
plt.show()

print(df["Price"].describe())
print(df["Price"].quantile([0.95]))

count   1067371.00
mean          4.65
std         123.55
min      -53594.36
25%           1.25
50%           2.10
75%           4.15
max       38970.00
Name: Price, dtype: float64
0.95   9.95
Name: Price, dtype: float64

df_anova = df[["Country", "Price", "Quantity"]].dropna()

print(missing_data)

Customer ID    243007
Description      4382
dtype: int64

df_anova.isnull().sum()

Country     0
Price       0
Quantity    0
dtype: int64

df_anova.columns

Index(['Country', 'Price', 'Quantity'], dtype='object')

df_anova

from scipy.stats import f_oneway

# Teste para Quantidade
quantity_groups = [df['Quantity'][df['Country'] == country] for country in df['Country'].unique()]
f_statistic_quantity, p_value_quantity = f_oneway(*quantity_groups)

# Teste para Preço
price_groups = [df['Price'][df['Country'] == country] for country in df['Country'].unique()]
f_statistic_price, p_value_price = f_oneway(*price_groups)

print("Resultados ANOVA para Quantidade:")
print("Estatística F:", f_statistic_quantity)
print("P-valor:", p_value_quantity)

print("\nResultados ANOVA para Preço:")
print("Estatística F:", f_statistic_price)
print("P-valor:", p_value_price)

Resultados ANOVA para Quantidade:
Estatística F: 77.46534225726585
P-valor: 0.0

Resultados ANOVA para Preço:
Estatística F: 5.893433324083531
P-valor: 6.260090985019275e-31

# 3. Teste ANOVA para Quantidade
anova_quantity = ols('Quantity ~ C(Country)', data=df).fit()
result_quantity = sm.stats.anova_lm(anova_quantity, typ=2)
display(result_quantity)

# 3. Teste ANOVA para Preço
anova_price = ols('Price ~ C(Country)', data=df).fit()
result_price = sm.stats.anova_lm(anova_price, typ=2)
display(result_price)

anova_price = ols('Price ~ C(Country)', data=df_anova).fit()
anova_quantity = ols('Quantity ~ C(Country)', data=df_anova).fit()

residuals_price = anova_price.resid
residuals_quantity = anova_quantity.resid

shapiro_tests = {
    "Resíduos de Price": shapiro(residuals_price)[1],
    "Resíduos de Quantity": shapiro(residuals_quantity)[1]
}

levene_tests = {
    "Price por Country": levene(*[df_anova[df_anova["Country"] == country]["Price"] for country in df_anova["Country"].unique()]).pvalue,
    "Quantity por Country": levene(*[df_anova[df_anova["Country"] == country]["Quantity"] for country in df_anova["Country"].unique()]).pvalue
}

results = pd.DataFrame({
    "Teste de Normalidade (Shapiro-Wilk p-values)": shapiro_tests,
    "Teste de Homogeneidade (Levene p-values)": levene_tests
})

# Exibir os resultados
display(results)

print(f'Para o item (i) será eliminado {df_anova.shape[0] - df_anova[df_anova["Price"] > 0].shape[0]} variaveis com valores negativos.')
print(f'Representa {((df_anova.shape[0] - df_anova[df_anova["Price"] > 0].shape[0]) / df_anova.shape[0]) * 100:.2f}% do dataset.')

Para o item (i) será eliminado 6207 variaveis com valores negativos.
Representa 0.58% do dataset.

df_anova_pressupostos = df_anova.copy()
df_anova_pressupostos = df_anova_pressupostos[df_anova_pressupostos["Price"] > 0]

df_anova_pressupostos["Price"] = np.log1p(df_anova_pressupostos["Price"])
df_anova_pressupostos["Quantity"] = np.log1p(df_anova["Quantity"])
df_anova_pressupostos

anova_price = ols('Price ~ C(Country)', data=df_anova_pressupostos).fit()
anova_quantity = ols('Quantity ~ C(Country)', data=df_anova_pressupostos).fit()

residuals_price = anova_price.resid
residuals_quantity = anova_quantity.resid

shapiro_tests = {
    "Resíduos de Price": shapiro(residuals_price)[1],
    "Resíduos de Quantity": shapiro(residuals_quantity)[1]
}

levene_tests = {
    "Price por Country": levene(*[df_anova_pressupostos[df_anova_pressupostos["Country"] == country]["Price"] for country in df_anova_pressupostos["Country"].unique()]).pvalue,
    "Quantity por Country": levene(*[df_anova_pressupostos[df_anova_pressupostos["Country"] == country]["Quantity"] for country in df_anova_pressupostos["Country"].unique()]).pvalue
}

results = pd.DataFrame({
    "Teste de Normalidade com LOG (Shapiro-Wilk p-values)": shapiro_tests,
    "Teste de Homogeneidade com LOG (Levene p-values)": levene_tests
})

# Exibir os resultados
display(results)

from scipy.stats import kruskal

# Kruskal-Wallis para Price agrupado por Country
kruskal_price = kruskal(*[df_anova[df_anova['Country'] == country]['Price'] for country in df_anova['Country'].unique()])

# Kruskal-Wallis para Quantity agrupado por Country
kruskal_quantity = kruskal(*[df_anova[df_anova['Country'] == country]['Quantity'] for country in df_anova['Country'].unique()])

# Exibindo os resultados
print("Resultados do Teste de Kruskal-Wallis:")
print(f"Price por Country: H-statistic = {kruskal_price.statistic:.4f}, p-value = {kruskal_price.pvalue:.4f}")
print(f"Quantity por Country: H-statistic = {kruskal_quantity.statistic:.4f}, p-value = {kruskal_quantity.pvalue:.4f}")

Resultados do Teste de Kruskal-Wallis:
Price por Country: H-statistic = 2061.4633, p-value = 0.0000
Quantity por Country: H-statistic = 46577.0281, p-value = 0.0000

df_anova_pressupostos_np = df_anova.copy()
df_anova_pressupostos_np[df_anova_pressupostos_np["Price"] > 0]

# Kruskal-Wallis para Price agrupado por Country
kruskal_price = kruskal(*[df_anova_pressupostos_np[df_anova_pressupostos_np['Country'] == country]['Price'] for country in df_anova_pressupostos_np['Country'].unique()])

# Kruskal-Wallis para Quantity agrupado por Country
kruskal_quantity = kruskal(*[df_anova_pressupostos_np[df_anova_pressupostos_np['Country'] == country]['Quantity'] for country in df_anova_pressupostos_np['Country'].unique()])

# Exibindo os resultados
print("Resultados do Teste de Kruskal-Wallis:")
print(f"Price por Country: H-statistic = {kruskal_price.statistic:.4f}, p-value = {kruskal_price.pvalue:.4f}")
print(f"Quantity por Country: H-statistic = {kruskal_quantity.statistic:.4f}, p-value = {kruskal_quantity.pvalue:.4f}")

Resultados do Teste de Kruskal-Wallis:
Price por Country: H-statistic = 2061.4633, p-value = 0.0000
Quantity por Country: H-statistic = 46577.0281, p-value = 0.0000

dados = pd.read_csv('/home/buso/mestrado/aedi-ppca/dados/credit_customers.csv')
print('dados: (Linhas,Colunas)',dados.shape)

dados: (Linhas,Colunas) (1000, 21)

def visaogeral(df, mensagem):
    print(f'{mensagem}:\n')
    print("Qtd Observações:", df.shape[0])
    print("\nQtd Atributos:", df.shape[1])
    print("\nAtributos:")
    print(df.columns.values)
    # print(df.columns.tolist())
    print("\nQtd Valores missing:", df.isnull().sum().values.sum())
    print("\nValores Unicos:")
    print(df.nunique().sort_values(ascending=True))

visaogeral(dados,'Visão Geral dataSet treino')

Visão Geral dataSet treino:

Qtd Observações: 1000

Qtd Atributos: 21

Atributos:
['checking_status' 'duration' 'credit_history' 'purpose' 'credit_amount'
 'savings_status' 'employment' 'installment_commitment' 'personal_status'
 'other_parties' 'residence_since' 'property_magnitude' 'age'
 'other_payment_plans' 'housing' 'existing_credits' 'job' 'num_dependents'
 'own_telephone' 'foreign_worker' 'class']

Qtd Valores missing: 0

Valores Unicos:
class                       2
own_telephone               2
num_dependents              2
foreign_worker              2
housing                     3
other_payment_plans         3
other_parties               3
job                         4
existing_credits            4
property_magnitude          4
checking_status             4
installment_commitment      4
personal_status             4
residence_since             4
employment                  5
savings_status              5
credit_history              5
purpose                    10
duration                   33
age                        53
credit_amount             921
dtype: int64

dados.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1000 entries, 0 to 999
Data columns (total 21 columns):
 #   Column                  Non-Null Count  Dtype  
---  ------                  --------------  -----  
 0   checking_status         1000 non-null   object 
 1   duration                1000 non-null   float64
 2   credit_history          1000 non-null   object 
 3   purpose                 1000 non-null   object 
 4   credit_amount           1000 non-null   float64
 5   savings_status          1000 non-null   object 
 6   employment              1000 non-null   object 
 7   installment_commitment  1000 non-null   float64
 8   personal_status         1000 non-null   object 
 9   other_parties           1000 non-null   object 
 10  residence_since         1000 non-null   float64
 11  property_magnitude      1000 non-null   object 
 12  age                     1000 non-null   float64
 13  other_payment_plans     1000 non-null   object 
 14  housing                 1000 non-null   object 
 15  existing_credits        1000 non-null   float64
 16  job                     1000 non-null   object 
 17  num_dependents          1000 non-null   float64
 18  own_telephone           1000 non-null   object 
 19  foreign_worker          1000 non-null   object 
 20  class                   1000 non-null   object 
dtypes: float64(7), object(14)
memory usage: 164.2+ KB

# Visualizando as primeiras linhas
dados.head()

# Observando os dados finais do dataSet
dados.tail()

print('Os dados possuem {:.2f} linhas e {} colunas'.format(dados.shape[0], dados.shape[1]))

Os dados possuem 1000.00 linhas e 21 colunas

# checando índice (endereço de cada obs) e sua distribuição
dados.index

RangeIndex(start=0, stop=1000, step=1)

# checando os nomes das colunas
dados.columns

Index(['checking_status', 'duration', 'credit_history', 'purpose',
       'credit_amount', 'savings_status', 'employment',
       'installment_commitment', 'personal_status', 'other_parties',
       'residence_since', 'property_magnitude', 'age', 'other_payment_plans',
       'housing', 'existing_credits', 'job', 'num_dependents', 'own_telephone',
       'foreign_worker', 'class'],
      dtype='object')

dados.head()

X= dados.drop(columns = 'class', axis=1)
Y= pd.DataFrame(dados['class'])
print('DataSet original com {} atributos e {} observações'.format(dados.shape[1], dados.shape[0]))
print('As variáveis independentes com {} atributos e {} observações'.format(X.shape[1], X.shape[0]))
print('A variável dependente - iremos prever com {} atributo e {} observações'.format(Y.shape[1], Y.shape[0]))

DataSet original com 21 atributos e 1000 observações
As variáveis independentes com 20 atributos e 1000 observações
A variável dependente - iremos prever com 1 atributo e 1000 observações

X.shape

(1000, 20)

Y

# por ser classe max=1 min=0 (Classificação)
Y.describe()

Y.value_counts()

class
good     700
bad      300
Name: count, dtype: int64

dados['class'].value_counts()

class
good    700
bad     300
Name: count, dtype: int64

balData = pd.DataFrame(dados['class'].value_counts())
balData.rename(columns={'count':'quantidade'}, inplace=True)

balData['% total'] = round(100*balData['quantidade']/dados.shape[0], 2)
print(balData)
print("\nObserva-se que {:.1f}% do dataSet não deram default".format((dados.groupby('class').size()[1] / dados.shape[0])*100))
print("Enquanto que {:.1f}% dos dados deram default a IF.".format((dados.groupby('class').size()[0] / dados.shape[0])*100))

       quantidade  % total
class                     
good          700    70.00
bad           300    30.00

Observa-se que 70.0% do dataSet não deram default
Enquanto que 30.0% dos dados deram default a IF.

sns.set_theme(style='darkgrid')
sns.set_palette("hls", 3)

print(balData)
default_plot = sns.countplot(data=dados, x='class', order=dados['class'].value_counts().index, hue= 'class', palette='coolwarm')

plt.title('Distribuição das classes')
plt.ylabel('Quantidade')
plt.xlabel('Classificação do cliente')

plt.tight_layout()
plt.show()

       quantidade  % total
class                     
good          700    70.00
bad           300    30.00

dados.columns

Index(['checking_status', 'duration', 'credit_history', 'purpose',
       'credit_amount', 'savings_status', 'employment',
       'installment_commitment', 'personal_status', 'other_parties',
       'residence_since', 'property_magnitude', 'age', 'other_payment_plans',
       'housing', 'existing_credits', 'job', 'num_dependents', 'own_telephone',
       'foreign_worker', 'class'],
      dtype='object')

dados.groupby(['class'])['age'].agg([np.mean,np.std])

dados.pivot_table(['age', 'credit_amount', 'duration'],
               ['class'], aggfunc='mean')

x_categoricos =  dados.select_dtypes(include=['object'])
x_categoricos['class'] = dados['class']
x_categoricos.head()

fig, axes = plt.subplots(6, 2, figsize=(40, 40))
axes = axes.flatten()
for i, var in enumerate(list(x_categoricos.columns[:-3])):
    sns.histplot(dados, x=var, hue="class", multiple="stack", shrink=0.8, ax=axes[i], palette='coolwarm')
    #sns.countplot(data=dados, x=var, order=dados[var].value_counts().index, hue='class', ax=axes[i], palette= 'coolwarm')
    axes[i].set_title(f"Distribuição de {var}")
    axes[i].tick_params(axis='x', rotation=45)

plt.tight_layout()
plt.show()

plt.figure(figsize=(10, 6))
sns.countplot(data=dados, x='checking_status', hue='class', palette="coolwarm", order=['<0', '0<=X<200', '>=200', 'no checking'])

plt.title('Distribuição de default por saldo da conta corrente')
plt.xlabel('Situação da conta corrente')
plt.ylabel('Quantidade de clientes')
plt.xticks(rotation=45, ha='right')
plt.legend(title='Perfil de default', labels=['Bom', 'Mau'])

plt.tight_layout()
plt.show()

dados.groupby(['class', 'checking_status']).size()

class  checking_status
bad    0<=X<200           105
       <0                 135
       >=200               14
       no checking         46
good   0<=X<200           164
       <0                 139
       >=200               49
       no checking        348
dtype: int64

plt.figure(figsize=(12, 6))
sns.countplot(data=dados, x='credit_history', hue='class', palette="pastel", order=['critical/other existing credit', 'delayed previously', 'existing paid', 'no credits/all paid', 'all paid'])

plt.title('Distribuição de default por histórico de crédito')
plt.xlabel('Histórico de crédito')
plt.ylabel('Quantidade de clientes')
plt.xticks(rotation=45, ha='right')
plt.legend(title='Perfil de default', labels=['Bom', 'Mau'])
plt.tight_layout()
plt.show()

dados.groupby(['class', 'credit_history']).size()

class  credit_history                
bad    all paid                           28
       critical/other existing credit     50
       delayed previously                 28
       existing paid                     169
       no credits/all paid                25
good   all paid                           21
       critical/other existing credit    243
       delayed previously                 60
       existing paid                     361
       no credits/all paid                15
dtype: int64

plt.figure(figsize=(10, 6))
sns.countplot(data=dados, x='savings_status', hue='class', palette="pastel", order=['no known savings', '<100', '100<=X<500', '500<=X<1000', '>=1000'])

plt.title('Distribuição de default por reservas financeiras')
plt.xlabel('Situação da reserva')
plt.ylabel('Quantidade de clientes')
plt.xticks(rotation=45, ha='right')
plt.legend(title='Perfil de default', labels=['Bom', 'Mau'])

plt.tight_layout()
plt.show()

x_numericos = dados.select_dtypes(include=['int64', 'float64'])
x_numericos['class'] = dados['class']
x_numericos.head()

x_numericos.nunique().sort_values()

num_dependents              2
class                       2
installment_commitment      4
residence_since             4
existing_credits            4
duration                   33
age                        53
credit_amount             921
dtype: int64

x_numericos[['num_dependents', 'installment_commitment', 'residence_since', 'existing_credits']].head()

x_numericos = x_numericos[['duration', 'credit_amount', 'age', 'class']]
x_numericos.head()

x_numericos[['duration', 'credit_amount', 'age']].hist(layout=(3,3))
plt.show()

cores_classes = {'good': 'lightblue', 'bad': 'salmon'}
for var in x_numericos:
    plt.figure(figsize=(10, 5))
    sns.histplot(data=x_numericos, x=var, hue='class', element="step", fill=True,
                 palette=cores_classes, kde=True)
    
    plt.title(f'Histograma de {var} por Risco de Crédito')
    plt.xlabel(var.capitalize())
    plt.ylabel('Frequência')
    plt.legend(title='Risco de Crédito', labels=['Bom', 'Mau'])
    bom_patch = mpatches.Patch(color=cores_classes['good'], label='Bom')
    mau_patch = mpatches.Patch(color=cores_classes['bad'], label='Mau')
    plt.legend(handles=[bom_patch, mau_patch], title='Risco de Crédito')
    
    plt.tight_layout()
    plt.show()

for var in x_numericos:
    plt.figure(figsize=(8, 6))
    sns.violinplot(data=dados, x='class', y=var, palette="coolwarm", order=['good', 'bad'])
    plt.title(f'Violin Plot de {var} por Risco de Crédito')
    plt.xlabel('Risco de Crédito')
    plt.ylabel(var.capitalize())
    plt.xticks(ticks=[0, 1], labels=['Bom', 'Mau'])
    plt.tight_layout()
    plt.show()

x_numericos = x_numericos[['duration', 'credit_amount', 'age']]
x_numericos.skew()

duration        1.09
credit_amount   1.95
age             1.02
dtype: float64

x_numericos.kurt()

duration        0.92
credit_amount   4.29
age             0.60
dtype: float64

x_numericos.corr(method = 'pearson')

correlations = x_numericos.corr(method = 'pearson')

fig = plt.figure()
ax = fig.add_subplot()
cax = ax.matshow(correlations, vmin = -1, vmax = 1, cmap='coolwarm')
fig.colorbar(cax)

ticks = np.arange(len(correlations))
ax.set_xticks(ticks)
ax.set_yticks(ticks)
ax.set_xticklabels(correlations.columns, fontsize=20)
ax.set_yticklabels(correlations.columns, fontsize=20)
plt.setp(ax.get_xticklabels(), rotation=45, ha="left",
         rotation_mode="anchor")

plt.tight_layout()
plt.show()

# Configurando o tamanho da figura e o layout dos subplots
num_cols = 5  # Número de colunas de subplots
num_rows = len(x_numericos.columns) // num_cols + (len(x_numericos.columns) % num_cols > 0)
fig, axes = plt.subplots(num_rows, num_cols, figsize=(20, 4 * num_rows))

# Flatten the axes array for easy iteration
axes = axes.flatten()

# Loop para criar um boxplot para cada coluna numérica
for i, col in enumerate(x_numericos.columns):
    sns.boxplot(y=dados[col], ax=axes[i], palette='coolwarm')
    axes[i].set_title(col)

# Remover subplots vazios
for j in range(i + 1, len(axes)):
    fig.delaxes(axes[j])

# a) correlação
corr = np.corrcoef(x_numericos, rowvar = 0)
# b) técnicas
eigenvalues, eigenvectors = np.linalg.eig(corr)

print (eigenvalues)

[0.37124585 1.62499358 1.00376056]

print (eigenvectors[:,0])

[-0.70510167  0.70489107 -0.0772024 ]

eigenvectors_df = pd.DataFrame(eigenvectors, columns=[f'Component_{i+1}' for i in range(len(eigenvalues))])
eigenvectors_df['Variable'] = x_numericos.columns
eigenvectors_df[['Variable', 'Component_1']].sort_values(by='Component_1', key=abs, ascending=False)

X.head()

df_proc = dados.copy()
df_proc.head()

df_proc[['num_dependents', 'installment_commitment', 'residence_since', 'existing_credits']].info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1000 entries, 0 to 999
Data columns (total 4 columns):
 #   Column                  Non-Null Count  Dtype  
---  ------                  --------------  -----  
 0   num_dependents          1000 non-null   float64
 1   installment_commitment  1000 non-null   float64
 2   residence_since         1000 non-null   float64
 3   existing_credits        1000 non-null   float64
dtypes: float64(4)
memory usage: 31.4 KB

df_proc[['num_dependents', 'installment_commitment', 'residence_since', 'existing_credits']] = df_proc[['num_dependents', 'installment_commitment', 'residence_since', 'existing_credits']].astype(int)
df_proc[['num_dependents', 'installment_commitment', 'residence_since', 'existing_credits']].info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1000 entries, 0 to 999
Data columns (total 4 columns):
 #   Column                  Non-Null Count  Dtype
---  ------                  --------------  -----
 0   num_dependents          1000 non-null   int64
 1   installment_commitment  1000 non-null   int64
 2   residence_since         1000 non-null   int64
 3   existing_credits        1000 non-null   int64
dtypes: int64(4)
memory usage: 31.4 KB

from sklearn.impute import SimpleImputer
import numpy as np

# Criando o imputador com estratégia de mediana
imp_num = SimpleImputer(missing_values=np.nan, strategy='median', add_indicator=True)

# Aplicando a imputação nos dados
dados_imputados = imp_num.fit_transform(dados)

pct_miss = 100*dados.isnull().sum()/len(dados)
pct_miss[(-pct_miss).argsort()]

checking_status          0.00
own_telephone            0.00
num_dependents           0.00
job                      0.00
existing_credits         0.00
housing                  0.00
other_payment_plans      0.00
age                      0.00
property_magnitude       0.00
foreign_worker           0.00
residence_since          0.00
personal_status          0.00
installment_commitment   0.00
employment               0.00
savings_status           0.00
credit_amount            0.00
purpose                  0.00
credit_history           0.00
duration                 0.00
other_parties            0.00
class                    0.00
dtype: float64

x_numericos.head()

list(x_numericos.columns)

['duration', 'credit_amount', 'age']

scaler = MinMaxScaler()
x_norm = pd.DataFrame(scaler.fit_transform(df_proc[list(x_numericos.columns)]), columns= list(x_numericos.columns))

print("Dados Originais: \n\n", df_proc[list(x_numericos.columns)].head())
print("\nDados Normalizados: \n\n", x_norm.head() )

Dados Originais: 

    duration  credit_amount   age
0      6.00        1169.00 67.00
1     48.00        5951.00 22.00
2     12.00        2096.00 49.00
3     42.00        7882.00 45.00
4     24.00        4870.00 53.00

Dados Normalizados: 

    duration  credit_amount  age
0      0.03           0.05 0.86
1      0.65           0.31 0.05
2      0.12           0.10 0.54
3      0.56           0.42 0.46
4      0.29           0.25 0.61

df_proc.head()

df_proc[list(x_numericos.columns)] = x_norm

df_proc.head()

df_proc[df_proc.select_dtypes(include=['object']).columns].nunique().sort_values(ascending=True)

own_telephone           2
foreign_worker          2
class                   2
other_parties           3
other_payment_plans     3
housing                 3
checking_status         4
personal_status         4
property_magnitude      4
job                     4
credit_history          5
savings_status          5
employment              5
purpose                10
dtype: int64

df_proc.select_dtypes(include=['object']).columns

Index(['checking_status', 'credit_history', 'purpose', 'savings_status',
       'employment', 'personal_status', 'other_parties', 'property_magnitude',
       'other_payment_plans', 'housing', 'job', 'own_telephone',
       'foreign_worker', 'class'],
      dtype='object')

label_encoder = LabelEncoder()

df_proc['own_telephone'] = label_encoder.fit_transform(df_proc['own_telephone'])
df_proc['foreign_worker'] = label_encoder.fit_transform(df_proc['foreign_worker'])
df_proc['class'] = label_encoder.fit_transform(df_proc['class'])

df_proc.head()

df_proc['class'].value_counts()

class
1    700
0    300
Name: count, dtype: int64

print(f'dataset antes do tratamento de variáveis categóricas: {df_proc.shape}')

dataset antes do tratamento de variáveis categóricas: (1000, 21)

ohe_colunas = ['other_parties', 'other_payment_plans','housing','checking_status','personal_status',
               'property_magnitude','job','credit_history','savings_status','employment','purpose']

encoder = OneHotEncoder(drop='first', sparse_output=False)

encoded_array = encoder.fit_transform(df_proc[ohe_colunas])

encoded_df = pd.DataFrame(encoded_array, columns=encoder.get_feature_names_out(ohe_colunas))
encoded_df.head()

df_proc = pd.concat([df_proc.drop(columns=ohe_colunas), encoded_df], axis=1)
df_proc.head()

print(f'dataset após o tratamento de variáveis categóricas: {df_proc.shape}')

dataset após o tratamento de variáveis categóricas: (1000, 49)

df_proc.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1000 entries, 0 to 999
Data columns (total 49 columns):
 #   Column                                         Non-Null Count  Dtype  
---  ------                                         --------------  -----  
 0   duration                                       1000 non-null   float64
 1   credit_amount                                  1000 non-null   float64
 2   installment_commitment                         1000 non-null   int64  
 3   residence_since                                1000 non-null   int64  
 4   age                                            1000 non-null   float64
 5   existing_credits                               1000 non-null   int64  
 6   num_dependents                                 1000 non-null   int64  
 7   own_telephone                                  1000 non-null   int64  
 8   foreign_worker                                 1000 non-null   int64  
 9   class                                          1000 non-null   int64  
 10  other_parties_guarantor                        1000 non-null   float64
 11  other_parties_none                             1000 non-null   float64
 12  other_payment_plans_none                       1000 non-null   float64
 13  other_payment_plans_stores                     1000 non-null   float64
 14  housing_own                                    1000 non-null   float64
 15  housing_rent                                   1000 non-null   float64
 16  checking_status_<0                             1000 non-null   float64
 17  checking_status_>=200                          1000 non-null   float64
 18  checking_status_no checking                    1000 non-null   float64
 19  personal_status_male div/sep                   1000 non-null   float64
 20  personal_status_male mar/wid                   1000 non-null   float64
 21  personal_status_male single                    1000 non-null   float64
 22  property_magnitude_life insurance              1000 non-null   float64
 23  property_magnitude_no known property           1000 non-null   float64
 24  property_magnitude_real estate                 1000 non-null   float64
 25  job_skilled                                    1000 non-null   float64
 26  job_unemp/unskilled non res                    1000 non-null   float64
 27  job_unskilled resident                         1000 non-null   float64
 28  credit_history_critical/other existing credit  1000 non-null   float64
 29  credit_history_delayed previously              1000 non-null   float64
 30  credit_history_existing paid                   1000 non-null   float64
 31  credit_history_no credits/all paid             1000 non-null   float64
 32  savings_status_500<=X<1000                     1000 non-null   float64
 33  savings_status_<100                            1000 non-null   float64
 34  savings_status_>=1000                          1000 non-null   float64
 35  savings_status_no known savings                1000 non-null   float64
 36  employment_4<=X<7                              1000 non-null   float64
 37  employment_<1                                  1000 non-null   float64
 38  employment_>=7                                 1000 non-null   float64
 39  employment_unemployed                          1000 non-null   float64
 40  purpose_domestic appliance                     1000 non-null   float64
 41  purpose_education                              1000 non-null   float64
 42  purpose_furniture/equipment                    1000 non-null   float64
 43  purpose_new car                                1000 non-null   float64
 44  purpose_other                                  1000 non-null   float64
 45  purpose_radio/tv                               1000 non-null   float64
 46  purpose_repairs                                1000 non-null   float64
 47  purpose_retraining                             1000 non-null   float64
 48  purpose_used car                               1000 non-null   float64
dtypes: float64(42), int64(7)
memory usage: 382.9 KB

df_proc.corr()

df_proc.corr().iloc[9]

duration                                        -0.21
credit_amount                                   -0.15
installment_commitment                          -0.07
residence_since                                 -0.00
age                                              0.09
existing_credits                                 0.05
num_dependents                                   0.00
own_telephone                                    0.04
foreign_worker                                  -0.08
class                                            1.00
other_parties_guarantor                          0.06
other_parties_none                               0.00
other_payment_plans_none                         0.11
other_payment_plans_stores                      -0.05
housing_own                                      0.13
housing_rent                                    -0.09
checking_status_<0                              -0.26
checking_status_>=200                            0.04
checking_status_no checking                      0.32
personal_status_male div/sep                    -0.05
personal_status_male mar/wid                     0.02
personal_status_male single                      0.08
property_magnitude_life insurance               -0.01
property_magnitude_no known property            -0.13
property_magnitude_real estate                   0.12
job_skilled                                      0.01
job_unemp/unskilled non res                     -0.01
job_unskilled resident                           0.02
credit_history_critical/other existing credit    0.18
credit_history_delayed previously               -0.01
credit_history_existing paid                    -0.04
credit_history_no credits/all paid              -0.14
savings_status_500<=X<1000                       0.07
savings_status_<100                             -0.16
savings_status_>=1000                            0.09
savings_status_no known savings                  0.13
employment_4<=X<7                                0.08
employment_<1                                   -0.11
employment_>=7                                   0.06
employment_unemployed                           -0.04
purpose_domestic appliance                      -0.01
purpose_education                               -0.07
purpose_furniture/equipment                     -0.02
purpose_new car                                 -0.10
purpose_other                                   -0.03
purpose_radio/tv                                 0.11
purpose_repairs                                 -0.02
purpose_retraining                               0.04
purpose_used car                                 0.10
Name: class, dtype: float64

X = df_proc.drop(columns= ['class'], axis= 1)
y = df_proc['class']

y.head()

0    1
1    0
2    1
3    1
4    0
Name: class, dtype: int64

X.head()

X_treino, X_teste, y_treino, y_teste = train_test_split(X, y, stratify=y, shuffle=True)

print('tamanho total dos dados são {}, para treino temos {} e teste são {}'.format(df_proc.shape[0], len(X_treino), len(X_teste)))

tamanho total dos dados são 1000, para treino temos 750 e teste são 250

num_folds = 6
seed = 42
kfold = KFold(num_folds, shuffle=True, random_state = seed)

X.head()

vif_data = pd.DataFrame()
vif_data['Feature'] = X.columns
vif_data['VIF'] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]

print("Valores de VIF para cada variável:")
print(vif_data)

Valores de VIF para cada variável:
                                          Feature   VIF
0                                        duration  6.07
1                                   credit_amount  5.31
2                          installment_commitment 10.57
3                                 residence_since  9.96
4                                             age  4.56
5                                existing_credits 11.13
6                                  num_dependents 12.35
7                                   own_telephone  2.23
8                                  foreign_worker 26.03
9                         other_parties_guarantor  2.24
10                             other_parties_none 21.62
11                       other_payment_plans_none  7.69
12                     other_payment_plans_stores  1.41
13                                    housing_own 15.97
14                                   housing_rent  4.54
15                             checking_status_<0  2.33
16                          checking_status_>=200  1.31
17                    checking_status_no checking  2.80
18                   personal_status_male div/sep  1.24
19                   personal_status_male mar/wid  1.37
20                    personal_status_male single  3.55
21              property_magnitude_life insurance  1.85
22           property_magnitude_no known property  3.01
23                 property_magnitude_real estate  2.21
24                                    job_skilled  7.16
25                    job_unemp/unskilled non res  1.43
26                         job_unskilled resident  3.49
27  credit_history_critical/other existing credit  8.59
28              credit_history_delayed previously  3.11
29                   credit_history_existing paid 12.28
30             credit_history_no credits/all paid  1.99
31                     savings_status_500<=X<1000  1.70
32                            savings_status_<100  7.26
33                          savings_status_>=1000  1.54
34                savings_status_no known savings  2.94
35                              employment_4<=X<7  1.58
36                                  employment_<1  1.62
37                                 employment_>=7  2.24
38                          employment_unemployed  1.70
39                     purpose_domestic appliance  1.18
40                              purpose_education  1.66
41                    purpose_furniture/equipment  3.17
42                                purpose_new car  3.69
43                                  purpose_other  1.21
44                               purpose_radio/tv  4.32
45                                purpose_repairs  1.29
46                             purpose_retraining  1.16
47                               purpose_used car  2.31

modelo_v2 = LogisticRegression()

# Executar cross-validation com múltiplas métricas
cv_results = cross_validate(modelo_v2, X_treino, y_treino, cv=kfold, scoring=['accuracy', 'precision', 'recall', 'f1'])

# Exibir métricas médias
print(f"Acurácia Média: {cv_results['test_accuracy'].mean():.4f}")
print(f"Precisão Média: {cv_results['test_precision'].mean():.4f}")
print(f"Recall Médio: {cv_results['test_recall'].mean():.4f}")
print(f"F1-Score Médio: {cv_results['test_f1'].mean():.4f}")

Acurácia Média: 0.7493
Precisão Média: 0.7938
Recall Médio: 0.8689
F1-Score Médio: 0.8283

ridge_model = LogisticRegression(penalty='l2', solver='lbfgs', max_iter=1000, random_state=42)

ridge_model.fit(X_treino, y_treino)

LogisticRegression(max_iter=1000, random_state=42)

LogisticRegression(max_iter=1000, random_state=42)

y_pred = ridge_model.predict(X_teste)
print("\nRelatório de Classificação:\n", classification_report(y_teste, y_pred))

Relatório de Classificação:
               precision    recall  f1-score   support

           0       0.58      0.44      0.50        75
           1       0.78      0.86      0.82       175

    accuracy                           0.74       250
   macro avg       0.68      0.65      0.66       250
weighted avg       0.72      0.74      0.72       250

# Avaliar coeficientes após regularização
coef_df = pd.DataFrame({'Feature': X_treino.columns, 'Coefficient': ridge_model.coef_[0]})
print(coef_df.sort_values(by='Coefficient', ascending=False))

                                          Feature  Coefficient
17                    checking_status_no checking         1.34
27  credit_history_critical/other existing credit         1.26
9                         other_parties_guarantor         1.07
28              credit_history_delayed previously         0.79
33                          savings_status_>=1000         0.75
4                                             age         0.70
47                               purpose_used car         0.70
46                             purpose_retraining         0.52
11                       other_payment_plans_none         0.50
34                savings_status_no known savings         0.46
35                              employment_4<=X<7         0.44
10                             other_parties_none         0.41
20                    personal_status_male single         0.37
16                          checking_status_>=200         0.36
43                                  purpose_other         0.35
7                                   own_telephone         0.29
25                    job_unemp/unskilled non res         0.28
44                               purpose_radio/tv         0.25
26                         job_unskilled resident         0.20
41                    purpose_furniture/equipment         0.18
29                   credit_history_existing paid         0.17
19                   personal_status_male mar/wid         0.12
23                 property_magnitude_real estate         0.10
37                                 employment_>=7         0.07
39                     purpose_domestic appliance         0.05
12                     other_payment_plans_stores         0.03
31                     savings_status_500<=X<1000         0.02
13                                    housing_own         0.02
3                                 residence_since        -0.00
21              property_magnitude_life insurance        -0.02
24                                    job_skilled        -0.07
36                                  employment_<1        -0.15
22           property_magnitude_no known property        -0.16
6                                  num_dependents        -0.21
45                                purpose_repairs        -0.29
2                          installment_commitment        -0.31
5                                existing_credits        -0.33
15                             checking_status_<0        -0.36
14                                   housing_rent        -0.38
38                          employment_unemployed        -0.41
30             credit_history_no credits/all paid        -0.46
18                   personal_status_male div/sep        -0.57
32                            savings_status_<100        -0.58
42                                purpose_new car        -0.60
40                              purpose_education        -0.99
8                                  foreign_worker        -1.02
1                                   credit_amount        -1.66
0                                        duration        -1.80

# Probabilidades previstas (classe positiva)
y_prob = ridge_model.predict_proba(X_teste)[:, 1]

# Curva ROC
fpr, tpr, thresholds = roc_curve(y_teste, y_prob)
auc = roc_auc_score(y_teste, y_prob)

# Plot da Curva ROC
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, label=f'AUC = {auc:.2f}', color='blue')
plt.plot([0, 1], [0, 1], 'k--', label='Modelo Aleatório')
plt.title('Curva ROC')
plt.xlabel('Taxa de Falsos Positivos (FPR)')
plt.ylabel('Taxa de Verdadeiros Positivos (TPR)')
plt.legend(loc='lower right')
plt.grid()
plt.show()
plt.tight_layout();

<Figure size 1000x600 with 0 Axes>

# Matriz de confusão
cm = confusion_matrix(y_teste, y_pred)
tn, fp, fn, tp = cm.ravel()
specificity = tn / (tn + fp)
print(f"Especificidade: {specificity:.2f}")

disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=ridge_model.classes_)
disp.plot(cmap='Blues', values_format='d')
plt.title('Matriz de Confusão')
plt.grid(False)
plt.show()

Especificidade: 0.44

explainer = shap.Explainer(ridge_model, X_treino)
shap_values = explainer(X_teste)

shap.summary_plot(shap_values, X_teste)

	id	date	price	bedrooms	bathrooms	sqft_living	sqft_lot	floors	...	grade	sqft_above	sqft_basement	yr_built	yr_renovated	zipcode	lat	long	sqft_living15	sqft_lot15
0	7129300520	20141013T000000	221900.00	3	1.00	1180	5650	1.00	...	7	1180	0	1955	0	98178	47.51	-122.26	1340	5650
1	6414100192	20141209T000000	538000.00	3	2.25	2570	7242	2.00	...	7	2170	400	1951	1991	98125	47.72	-122.32	1690	7639
2	5631500400	20150225T000000	180000.00	2	1.00	770	10000	1.00	...	6	770	0	1933	0	98028	47.74	-122.23	2720	8062
3	2487200875	20141209T000000	604000.00	4	3.00	1960	5000	1.00	...	7	1050	910	1965	0	98136	47.52	-122.39	1360	5000
4	1954400510	20150218T000000	510000.00	3	2.00	1680	8080	1.00	...	8	1680	0	1987	0	98074	47.62	-122.05	1800	7503

	id	date	bedrooms	bathrooms	sqft_living	sqft_lot	floors	condition	grade	sqft_above	sqft_basement	yr_built	yr_renovated	zipcode	lat	long	sqft_living15	sqft_lot15
0	7129300520	20141013T000000	3	1.00	1180	5650	1.00	3	7	1180	0	1955	0	98178	47.51	-122.26	1340	5650
1	6414100192	20141209T000000	3	2.25	2570	7242	2.00	3	7	2170	400	1951	1991	98125	47.72	-122.32	1690	7639
2	5631500400	20150225T000000	2	1.00	770	10000	1.00	3	6	770	0	1933	0	98028	47.74	-122.23	2720	8062
3	2487200875	20141209T000000	4	3.00	1960	5000	1.00	5	7	1050	910	1965	0	98136	47.52	-122.39	1360	5000
4	1954400510	20150218T000000	3	2.00	1680	8080	1.00	3	8	1680	0	1987	0	98074	47.62	-122.05	1800	7503

Variável	Relação com Preço	Insight
sqft_living	Positiva	Áreas úteis maiores aumentam o preço, mas com dispersão para imóveis grandes.
sqft_lot	Fraca	A área do terreno tem impacto limitado no preço, a menos que seja associada a outros fatores.
sqft_above	Positiva forte	Áreas construídas maiores acima do solo são preditores consistentes de preços mais altos.
sqft_basement	Moderada	Porões maiores agregam valor, mas o impacto depende de outros fatores.
floors	Não linear	Imóveis com 1,5 a 2,5 andares tendem a ser os mais valorizados.
bedrooms	Não linear	Imóveis com 3 a 5 quartos são os mais valorizados; mais quartos podem não agregar valor proporcional.
bathrooms	Positiva	Banheiros adicionais aumentam o preço, mas o impacto diminui após 5 banheiros.

	count	mean	std	min	25%	50%	75%	max
grade
1	1.00	142000.00	NaN	142000.00	142000.00	142000.00	142000.00	142000.00
3	3.00	205666.67	113517.99	75000.00	168500.00	262000.00	271000.00	280000.00
4	29.00	214381.03	94306.17	80000.00	145000.00	205000.00	265000.00	435000.00
5	242.00	248523.97	118100.28	78000.00	175000.00	228700.00	295750.00	795000.00
6	2038.00	301919.64	122970.28	82000.00	215037.50	275276.50	366837.50	1200000.00
7	8981.00	402590.26	155876.92	90000.00	285000.00	375000.00	485000.00	2050000.00
8	6068.00	542852.77	217473.37	140000.00	390000.00	510000.00	640000.00	3070000.00
9	2615.00	773513.19	316120.08	230000.00	571500.00	720000.00	880000.00	2700000.00
10	1134.00	1071771.07	483545.09	316000.00	768087.50	914327.00	1250000.00	3600000.00
11	399.00	1496841.73	705099.30	420000.00	1036000.00	1284000.00	1700000.00	7062500.00
12	90.00	2191222.00	1027818.63	835000.00	1500000.00	1817500.00	2668500.00	5350000.00
13	13.00	3709615.38	1859449.90	1780000.00	2415000.00	2983000.00	3800000.00	7700000.00

	count	mean	std	min	25%	50%	75%	max
condition
1	30.00	334431.67	271172.80	78000.00	160000.00	262500.00	431125.00	1500000.00
2	172.00	327287.15	245418.41	80000.00	189750.00	279000.00	397300.00	2555000.00
3	14031.00	542012.58	364449.06	75000.00	329500.00	450000.00	640000.00	7062500.00
4	5679.00	521200.39	358516.23	89000.00	305000.00	440000.00	625000.00	7700000.00
5	1701.00	612418.09	410971.92	110000.00	350000.00	526000.00	725000.00	3650000.00

	sqft_living	sqft_lot	sqft_above	sqft_basement	floors	bedrooms	bathrooms	price
sqft_living	1.00	0.17	0.88	0.44	0.35	0.58	0.75	0.70
sqft_lot	0.17	1.00	0.18	0.02	-0.01	0.03	0.09	0.09
sqft_above	0.88	0.18	1.00	-0.05	0.52	0.48	0.69	0.61
sqft_basement	0.44	0.02	-0.05	1.00	-0.25	0.30	0.28	0.32
floors	0.35	-0.01	0.52	-0.25	1.00	0.18	0.50	0.26
bedrooms	0.58	0.03	0.48	0.30	0.18	1.00	0.52	0.31
bathrooms	0.75	0.09	0.69	0.28	0.50	0.52	1.00	0.53
price	0.70	0.09	0.61	0.32	0.26	0.31	0.53	1.00

Variável	Coeficiente	Interpretação
`bedrooms`	-30.632,18	Cada quarto adicional está associado a uma redução média de 30.632,18 no preço do imóvel. Isso pode indicar que o número de quartos isoladamente não é um bom preditor e pode estar capturando efeitos já explicados por `sqft_living`.
`bathrooms`	-7.969,01	Cada banheiro adicional reduz o preço médio em 7.969,01. Esse efeito negativo pode ser um indicador de multicolinearidade, pois `bathrooms` pode estar correlacionado com `sqft_living` ou `floors`.
`sqft_living`	+190,49	Cada aumento de 1 pé quadrado na área útil aumenta o preço médio em 190,49. Este coeficiente reforça que o tamanho do imóvel é um dos principais fatores de valorização.
`floors`	-12.012,75	Cada andar adicional reduz o preço médio em 12.012,75. Esse resultado pode indicar que imóveis de muitos andares podem ser menos valorizados na região.
`waterfront`	+559.483,69	Casas com vista para o mar são, em média, 559.483,69 mais caras que aquelas sem vista. Forte impacto positivo!
`view`	+64.298,00	Cada ponto a mais na classificação da vista aumenta o preço médio em 64.298,00. A valorização crescente mostra que imóveis com melhores vistas têm um impacto direto no preço.
`condition`	+53.036,76	Cada melhoria na condição geral da casa aumenta o preço médio em 53.036,76. Faz sentido, pois imóveis em melhor estado de conservação são mais valorizados.
`grade`	+98.875,62	Cada nível a mais na classificação da qualidade da construção aumenta o preço médio em 98.875,62. Como esperado, a qualidade da construção tem um impacto significativo.

Nome da Coluna	Descrição
hotel	Tipo de hotel (Resort Hotel ou City Hotel)
is_canceled variável target	Indica se a reserva foi cancelada (1) ou não (0)
lead_time	Número de dias entre a data de inserção da reserva no sistema e a data de chegada
arrival_date_year	Ano da data de chegada
arrival_date_month	Mês da data de chegada
arrival_date_week_number	Número da semana do ano referente à data de chegada
arrival_date_day_of_month	Dia do mês da data de chegada
stays_in_weekend_nights	Número de noites de fim de semana (sábado ou domingo) que o hóspede permaneceu ou reservou para permanecer no hotel
stays_in_week_nights	Número de noites de semana (segunda a sexta-feira) que o hóspede permaneceu ou reservou para permanecer no hotel
adults	Número de adultos
children	Número de crianças
babies	Número de bebês
meal	Tipo de refeição reservada. Categorias: BB (Bed & Breakfast), HB (Half board - café da manhã e uma outra refeição), FB (Full board - café da manhã, almoço e jantar), SC (Self Catering - sem pacote de refeições)
country	País de origem, representado no formato ISO 3155–3:2013
market_segment	Segmento de mercado da reserva. Por exemplo, TA (Travel Agents) ou TO (Tour Operators)
distribution_channel	Canal de distribuição da reserva. Por exemplo, TA (Travel Agents) ou TO (Tour Operators)
is_repeated_guest	Indica se o hóspede é repetido (1) ou não (0)
previous_cancellations	Número de reservas anteriores que foram canceladas pelo cliente antes da reserva atual
previous_bookings_not_canceled	Número de reservas anteriores não canceladas pelo cliente antes da reserva atual
reserved_room_type	Código do tipo de quarto reservado
assigned_room_type	Código do tipo de quarto atribuído à reserva
booking_changes	Número de alterações feitas na reserva desde a inserção no sistema até o momento do check-in ou cancelamento
deposit_type	Indicação se o cliente fez um depósito para garantir a reserva. Categorias: No Deposit (nenhum depósito), Non Refund (depósito no valor total da estadia), Refundable (depósito com valor inferior ao custo total da estadia)
agent	ID da agência de viagens que fez a reserva
company	ID da empresa responsável pela reserva ou pagamento
days_in_waiting_list	Número de dias que a reserva ficou na lista de espera antes de ser confirmada para o cliente
customer_type	Tipo de cliente: Contract (contrato), Group (grupo), Transient (transitório), Transient-party (transitório com outros)
adr	Taxa Média Diária, calculada dividindo a soma de todas as transações de hospedagem pelo número total de noites de estadia
required_car_parking_spaces	Número de vagas de estacionamento requeridas pelo cliente
total_of_special_requests	Número de pedidos especiais feitos pelo cliente (por exemplo, cama de solteiro ou andar alto)
reservation_status	Status final da reserva: Canceled (cancelada), Check-Out (cliente fez check-in e já saiu), No-Show (cliente não fez check-in e não informou o motivo)
reservation_status_date	Data em que o último status foi definido

	hotel	lead_time	arrival_date_year	arrival_date_month	arrival_date_week_number	arrival_date_day_of_month	stays_in_week_nights	adults	...	deposit_type	agent	company	customer_type	adr	total_of_special_requests	reservation_status	reservation_status_date
0	Resort Hotel	342	2015	July	27	1	0	2	...	No Deposit	NaN	NaN	Transient	0.0	0	Check-Out	2015-07-01
1	Resort Hotel	737	2015	July	27	1	0	2	...	No Deposit	NaN	NaN	Transient	0.0	0	Check-Out	2015-07-01
2	Resort Hotel	7	2015	July	27	1	1	1	...	No Deposit	NaN	NaN	Transient	75.0	0	Check-Out	2015-07-02
3	Resort Hotel	13	2015	July	27	1	1	1	...	No Deposit	304.0	NaN	Transient	75.0	0	Check-Out	2015-07-02
4	Resort Hotel	14	2015	July	27	1	2	2	...	No Deposit	240.0	NaN	Transient	98.0	1	Check-Out	2015-07-03

	hotel	lead_time	arrival_date_year	arrival_date_month	arrival_date_week_number	arrival_date_day_of_month	stays_in_weekend_nights	stays_in_week_nights	adults	...	deposit_type	agent	company	customer_type	adr	total_of_special_requests	reservation_status	reservation_status_date
119385	City Hotel	23	2017	August	35	30	2	5	2	...	No Deposit	394.0	NaN	Transient	96.14	0	Check-Out	2017-09-06
119386	City Hotel	102	2017	August	35	31	2	5	3	...	No Deposit	9.0	NaN	Transient	225.43	2	Check-Out	2017-09-07
119387	City Hotel	34	2017	August	35	31	2	5	2	...	No Deposit	9.0	NaN	Transient	157.71	4	Check-Out	2017-09-07
119388	City Hotel	109	2017	August	35	31	2	5	2	...	No Deposit	89.0	NaN	Transient	104.40	0	Check-Out	2017-09-07
119389	City Hotel	205	2017	August	35	29	2	7	2	...	No Deposit	9.0	NaN	Transient	151.20	2	Check-Out	2017-09-07

	hotel	arrival_date_month	meal	country	market_segment	distribution_channel	reserved_room_type	assigned_room_type	deposit_type	customer_type	reservation_status	reservation_status_date
0	Resort Hotel	July	BB	PRT	Direct	Direct	C	C	No Deposit	Transient	Check-Out	2015-07-01
1	Resort Hotel	July	BB	PRT	Direct	Direct	C	C	No Deposit	Transient	Check-Out	2015-07-01
2	Resort Hotel	July	BB	GBR	Direct	Direct	A	C	No Deposit	Transient	Check-Out	2015-07-02
3	Resort Hotel	July	BB	GBR	Corporate	Corporate	A	A	No Deposit	Transient	Check-Out	2015-07-02
4	Resort Hotel	July	BB	GBR	Online TA	TA/TO	A	A	No Deposit	Transient	Check-Out	2015-07-03

	hotel	is_canceled	lead_time	arrival_date_year	arrival_date_week_number	arrival_date_day_of_month	stays_in_weekend_nights	stays_in_week_nights	adults	children	...	assigned_room_type_H	assigned_room_type_I	assigned_room_type_K	assigned_room_type_L	assigned_room_type_P	deposit_type_Non Refund	deposit_type_Refundable	customer_type_Group	customer_type_Transient	customer_type_Transient-Party
hotel	1.000000	-0.136505	-0.075405	-0.035308	-0.001261	0.001836	0.186595	0.234022	0.013199	0.044205	...	0.108997	0.077712	-0.034394	0.004073	-0.003586	-0.172014	0.042234	0.023120	0.005713	-0.027768
is_canceled	-0.136505	1.000000	0.293177	0.016732	0.008132	-0.006084	-0.001783	0.024771	0.059990	0.005048	...	-0.002866	-0.040783	-0.032811	0.003773	0.013072	0.481488	-0.011310	-0.038696	0.133170	-0.124231
lead_time	-0.075405	0.293177	1.000000	0.040093	0.126885	0.002234	0.085667	0.165799	0.119544	-0.037622	...	-0.021101	-0.019328	-0.027952	-0.002817	-0.009759	0.380174	0.016586	-0.031927	-0.174026	0.159622
arrival_date_year	-0.035308	0.016732	0.040093	1.000000	-0.540566	-0.000279	0.021489	0.030878	0.029674	0.054624	...	0.001462	0.000249	0.008904	-0.004732	0.004867	-0.065987	-0.000762	-0.010987	0.227880	-0.163499
arrival_date_week_number	-0.001261	0.008132	0.126885	-0.540566	1.000000	0.066824	0.018209	0.015559	0.025901	0.005518	...	0.008424	-0.004897	0.003531	0.000390	0.003133	0.007777	-0.016887	0.011619	-0.079526	0.042191
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
deposit_type_Non Refund	-0.172014	0.481488	0.380174	-0.065987	0.007777	-0.008629	-0.114279	-0.080002	-0.028972	-0.096671	...	-0.028234	-0.020139	-0.018057	-0.001080	-0.003741	1.000000	-0.013752	-0.026000	0.115851	-0.121434
deposit_type_Refundable	0.042234	-0.011310	0.016586	-0.000762	-0.016887	0.032149	0.001761	0.006791	0.003247	-0.006754	...	-0.002855	-0.002036	-0.001784	-0.000107	-0.000370	-0.013752	1.000000	0.023679	-0.053433	0.054660
customer_type_Group	0.023120	-0.038696	-0.031927	-0.010987	0.011619	-0.001551	-0.007163	-0.016182	0.058978	-0.006650	...	-0.003829	0.007120	0.004131	-0.000202	0.011349	-0.026000	0.023679	1.000000	-0.120903	-0.035975
customer_type_Transient	0.005713	0.133170	-0.174026	0.227880	-0.079526	-0.000670	0.019475	0.007292	0.091051	0.096135	...	0.031823	-0.007902	0.003840	0.001668	0.003848	0.115851	-0.053433	-0.120903	1.000000	-0.895584
customer_type_Transient-Party	-0.027768	-0.124231	0.159622	-0.163499	0.042191	0.006339	-0.064914	-0.064277	-0.115814	-0.092846	...	-0.027174	0.006950	-0.002428	-0.001494	-0.005176	-0.121434	0.054660	-0.035975	-0.895584	1.000000

	Invoice	StockCode	Description	Quantity	InvoiceDate	Price	Customer ID	Country
0	489434	85048	15CM CHRISTMAS GLASS BALL 20 LIGHTS	12	12/1/2009 7:45	6.95	13085.00	United Kingdom
1	489434	79323P	PINK CHERRY LIGHTS	12	12/1/2009 7:45	6.75	13085.00	United Kingdom
2	489434	79323W	WHITE CHERRY LIGHTS	12	12/1/2009 7:45	6.75	13085.00	United Kingdom
3	489434	22041	RECORD FRAME 7" SINGLE SIZE	48	12/1/2009 7:45	2.10	13085.00	United Kingdom
4	489434	21232	STRAWBERRY CERAMIC TRINKET BOX	24	12/1/2009 7:45	1.25	13085.00	United Kingdom

	Quantity	Price	Customer ID
count	1067371.00	1067371.00	824364.00
mean	9.94	4.65	15324.64
std	172.71	123.55	1697.46
min	-80995.00	-53594.36	12346.00
25%	1.00	1.25	13975.00
50%	3.00	2.10	15255.00
75%	10.00	4.15	16797.00
max	80995.00	38970.00	18287.00

	sum_sq	df	F	PR(>F)
C(Country)	96753300.75	42.00	77.47	0.00
Residual	31740002622.33	1067328.00	NaN	NaN

	grade	condition	mean_price	count
0	1	1	142000.00	1
1	3	2	280000.00	1
2	3	3	75000.00	1
3	3	5	262000.00	1
4	4	1	150000.00	1
5	4	2	179600.00	5
6	4	3	210000.00	13
7	4	4	243905.00	10
8	5	1	280833.33	9
9	5	2	206166.67	15
10	5	3	246993.46	100
11	5	4	245299.01	84
12	5	5	271127.59	34
13	6	1	303813.64	11
14	6	2	269483.90	59
15	6	3	290651.85	1035
16	6	4	318731.57	685
17	6	5	310140.86	248
18	7	1	334416.67	6
19	7	2	342698.52	75
20	7	3	385666.79	5234
21	7	4	412923.07	2833
22	7	5	479667.75	833
23	8	1	932500.00	2
24	8	2	421996.15	13
25	8	3	510102.77	4269
26	8	4	589527.30	1394
27	8	5	736538.05	390
28	9	2	715000.00	2
29	9	3	726587.80	2041
30	9	4	889664.52	446
31	9	5	1123419.90	126
32	10	2	1752500.00	2
33	10	3	1012934.13	921
34	10	4	1176284.59	156
35	10	5	1735830.36	55
36	11	3	1414401.44	332
37	11	4	1839916.43	56
38	11	5	2238477.27	11
39	12	3	2138601.08	74

Variável	Tipo da Variável	Descrição
checking_status	Categórica Ordinal	Situação da conta corrente do cliente. Indica o nível de saldo disponível na conta corrente. Geralmente, um saldo menor ou "sem conta" pode indicar maior risco.
duration	Numérica Contínua	Duração do crédito em meses. Tempo total que o cliente terá para pagar o empréstimo. Prazos mais longos podem aumentar o risco devido a incertezas futuras.
credit_history	Categórica Ordinal	Histórico de crédito do cliente. Avalia o comportamento de pagamento em créditos anteriores. Um histórico problemático (crédito em atraso, crítico) sinaliza maior risco.
purpose	Categórica Nominal	Propósito do crédito. Indica para que o cliente pretende usar o dinheiro do empréstimo. Alguns propósitos (ex: carro novo, casa) podem ser vistos como menos arriscados que outros (ex: negócios, "outros").
credit_amount	Numérica Contínua	Valor do crédito solicitado. Montante total do empréstimo. Valores muito altos em relação à renda do cliente podem aumentar o risco de inadimplência.
savings_status	Categórica Ordinal	Reserva financeira do cliente. Indica o nível de poupança ou reserva financeira. Mais poupança geralmente indica menor risco.
employment	Categórica Ordinal	Tempo de emprego atual. Indica a estabilidade profissional do cliente. Empregos mais longos geralmente indicam menor risco.
installment_commitment	Numérica Discreta	Taxa de comprometimento da parcela. Percentual da renda disponível do cliente que será destinada ao pagamento da parcela do crédito. Taxas muito altas (próximas de 4, que pode representar uma taxa alta em escala ordinal) indicam maior dificuldade de pagamento.
personal_status	Categórica Nominal	Estado civil e gênero. Pode influenciar o risco de crédito, embora o impacto seja menos direto e possa estar ligado a fatores socioeconômicos associados a cada categoria.
other_parties	Categórica Nominal	Outras partes envolvidas no crédito. Indica se há avalistas ou coobrigados).
residence_since	Numérica Discreta	Tempo de residência atual em anos. Estabilidade residencial pode indicar maior estabilidade geral do cliente, sugerindo menor risco.
property_magnitude	Categórica Ordinal	Bens móveis. Indica o tipo de propriedade que o cliente possui (se possui alguma). Propriedades de maior valor (ex: real estate - imóveis) podem ser vistas como garantia, reduzindo o risco para o credor.
age	Numérica Contínua	Idade do cliente em anos. A idade pode estar correlacionada com risco de crédito de maneiras complexas. Clientes muito jovens podem ter menos histórico, enquanto clientes mais velhos podem ter mais estabilidade.
other_payment_plans	Categórica Nominal	Outros planos de pagamento. Indica se o cliente possui outros compromissos financeiros (ex: outras dívidas, planos de pagamento parcelados). Muitos planos podem sobrecarregar o orçamento e aumentar o risco.
housing	Categórica Nominal	Tipo de moradia. Indica se o cliente é proprietário, aluga ou mora de favor. Ser proprietário pode indicar maior estabilidade financeira.
existing_credits	Numérica Discreta	Número de créditos existentes. Quantidade de outros créditos que o cliente já possui. Muitos créditos podem indicar alta alavancagem e maior risco.
job	Categórica Ordinal	Tipo de emprego. Indica a qualificação profissional e nível hierárquico do emprego. Empregos de maior qualificação (ex: "high qualif/self emp/mgmt") geralmente indicam maior estabilidade e menor risco.
num_dependents	Numérica Discreta	Número de dependentes. Quantidade de pessoas que dependem financeiramente do cliente. Mais dependentes podem aumentar a pressão sobre o orçamento familiar e potencialmente aumentar o risco.
own_telephone	Categórica Binária	Possui telefone registrado. Em datasets mais antigos, a posse de telefone poderia ser um indicador de estabilidade e acessibilidade do cliente. Hoje em dia, pode ter menos relevância.
foreign_worker	Categórica Binária	Trabalhador estrangeiro. Pode ser um fator de risco em alguns contextos (ex: instabilidade de residência, barreiras linguísticas/culturais em certos casos). No entanto, generalizações sobre risco baseadas em nacionalidade são problemáticas e podem ser discriminatórias.
class	Categórica Binária	Classe de risco de crédito (Variável Alvo). Indica se o cliente é considerado um "bom" ou "mau" pagador, com base em dados históricos. É a variável que o modelo de machine learning tentará prever.

	sum_sq	df	F	PR(>F)
C(Country)	3777818.17	42.00	5.89	0.00
Residual	16290007691.24	1067328.00	NaN	NaN

	Teste de Normalidade (Shapiro-Wilk p-values)	Teste de Homogeneidade (Levene p-values)
Resíduos de Price	0.00	NaN
Resíduos de Quantity	0.00	NaN
Price por Country	NaN	0.00
Quantity por Country	NaN	0.00

	Country	Price	Quantity
0	United Kingdom	2.07	2.56
1	United Kingdom	2.05	2.56
2	United Kingdom	2.05	2.56
3	United Kingdom	1.13	3.89
4	United Kingdom	0.81	3.22
...	...	...	...
1067366	France	1.13	1.95
1067367	France	1.64	1.61
1067368	France	1.64	1.61
1067369	France	1.78	1.39
1067370	France	2.94	0.69

	checking_status	duration	credit_history	purpose	credit_amount	savings_status	employment	installment_commitment	personal_status	other_parties	...	property_magnitude	age	other_payment_plans	housing	existing_credits	job	num_dependents	own_telephone	foreign_worker	class
0	<0	6.00	critical/other existing credit	radio/tv	1169.00	no known savings	>=7	4.00	male single	none	...	real estate	67.00	none	own	2.00	skilled	1.00	yes	yes	good
1	0<=X<200	48.00	existing paid	radio/tv	5951.00	<100	1<=X<4	2.00	female div/dep/mar	none	...	real estate	22.00	none	own	1.00	skilled	1.00	none	yes	bad
2	no checking	12.00	critical/other existing credit	education	2096.00	<100	4<=X<7	2.00	male single	none	...	real estate	49.00	none	own	1.00	unskilled resident	2.00	none	yes	good
3	<0	42.00	existing paid	furniture/equipment	7882.00	<100	4<=X<7	2.00	male single	guarantor	...	life insurance	45.00	none	for free	1.00	skilled	2.00	none	yes	good
4	<0	24.00	delayed previously	new car	4870.00	<100	1<=X<4	3.00	male single	none	...	no known property	53.00	none	for free	2.00	skilled	2.00	none	yes	bad

	duration	credit_amount	age
duration	1.00	0.62	-0.04
credit_amount	0.62	1.00	0.03
age	-0.04	0.03	1.00

	duration	credit_amount	installment_commitment	residence_since	age	existing_credits	num_dependents	own_telephone	foreign_worker	class	...	purpose_education	purpose_furniture/equipment	purpose_new car	purpose_radio/tv
0	0.03	0.05	4	4	0.86	2	1	1	1	1	...	0.00	0.00	0.00	1.00
1	0.65	0.31	2	2	0.05	1	1	0	1	0	...	0.00	0.00	0.00	1.00
2	0.12	0.10	2	3	0.54	1	2	0	1	1	...	1.00	0.00	0.00	0.00
3	0.56	0.42	2	4	0.46	1	2	0	1	1	...	0.00	1.00	0.00	0.00
4	0.29	0.25	3	4	0.61	2	2	0	1	0	...	0.00	0.00	1.00	0.00

Variável	Coeficiente	Impacto
`checking_status_no checking`	1.34	Aumenta a chance de ser bom pagador
`credit_history_critical/other existing credit`	1.26	Aumenta a chance de ser bom pagador
`other_parties_guarantor`	1.07	Ter um garantidor aumenta a chance de bom pagador
`credit_history_delayed previously`	0.79	Histórico de atraso favorece bom pagador
`savings_status_>=1000`	0.75	Alto saldo de poupança favorece bom pagador
`age`	0.70	Idade maior favorece ser bom pagador
`purpose_used car`	0.70	Empréstimos para carros usados associam-se a bom pagador
`purpose_retraining`	0.52	Financiamento para requalificação profissional é positivo
`other_payment_plans_none`	0.50	Não possuir outros planos de pagamento aumenta chance de bom pagador
`savings_status_no known savings`	0.46	Não ter poupança favorece bom pagador
`employment_4<=X<7`	0.44	Tempo de emprego entre 4 e 7 anos favorece bom pagador
`checking_status_<0`	-0.36	Saldo negativo reduz chance de ser bom pagador
`employment_unemployed`	-0.41	Desemprego reduz chance de ser bom pagador
`credit_amount`	-1.66	Valores elevados de crédito estão associados a inadimplência
`duration`	-1.80	Duração maior do crédito reduz chance de ser bom pagador

Verdadeiro \ Predito	Mau Pagador (0)	Bom Pagador (1)
Mau Pagador (0)	33 (Verdadeiro Negativo - TN)	42 (Falso Positivo - FP)
Bom Pagador (1)	24 (Falso Negativo - FN)	151 (Verdadeiro Positivo - TP)

Programa de Pós-graduação em Computação Aplicada – PPCA (UnB)

Análise Estatística de Dados e Informações - Prova Final

Professor: João Gabriel de Moraes Souza

Aluno: Angelo Donizete Buso Júnior

Questão 1¶

1. Compreensão do Problema de Negócio¶

1.1 Dicionário dados¶

2. Coleta Dados¶

2.1 Carga dados¶

3. Análise Exploratória¶

3.1 Visão Geral dos dados¶

3.1.1 Variáveis Explanatórias e Variável Dependente¶

3.1.2 Missing Values¶

3.1.3 Análise Variável Dependente¶

3.1.3.1 Amplitude¶

3.1.3.2 Plot - boxplot¶

3.1.3.3 Plots Variável Dependente¶

3.1.3.4 Distribuição Dados - skw/Kurt¶

3.1.3.5 Histograma Variável Dependente¶

3.1.4 Análise da Variáveis Explanatórias¶

3.1.4.1 Localização¶

3.1.4.2 Características Estruturais do Imóvel¶

3.1.4.2.1 Correlação dos atributos estruturais¶

3.1.4.3 Qualidade da Construção e Infraestrutura¶

3.1.4.4 Atributos Externos e Vizinhança¶

3.1.4.5 Avaliando a Multicolinearidade¶

4. Pré-Processamento dados¶

4.1 Feature Engineer¶

4.1.1 Imputação Missing¶

4.2 Split dados¶

4.2.1 Estático - nível linha¶

5. Seleção Algoritmos¶

5.1 Algoritmos Regressores¶

5.1.1 Regressão Linear¶

5.2 Performance para Regressores¶

5.2.1 MSE¶

5.2.2 MAE¶

5.2.3 R²¶

Consolidando as principais Técnicas de performance para Regressores¶

5.3 Distribuição dos resíduos¶

6. Conclusões¶

Questão 2¶

1. Compreensão do Problema de Negócio¶

1.1 Dicionário de Dados¶

Informações sobre os atributos:¶

2. Coleta de Dados¶

2.1 Carga dados¶

3. Análise Exploratória¶

3.1 Visão Geral dataSet¶

3.1.1 Variáveis Explicatórias e Variável Alvo¶

3.1.2 Variável Alvo¶

3.1.2.1 Amplitude¶

3.1.2.2 Balanceamento dos Dados¶

3.1.2.3 Plots Variável Alvo¶

3.1.3 Preditores Categóricos¶

3.1.4 Preditores Numéricos¶

3.1.4.1 Distribuição dos Dados – Assimetria (Skewness) e Curtose (Kurtosis)¶

3.1.4.2 Identificação de Outliers¶

4. Pré-Processamento dos Dados¶

Preparando os Dados para Machine Learning¶

4.1 Transformação de Variáveis/Atributos¶

4.1.1 Imputação de Valores Ausentes¶

4.1.2 Codificação de Variáveis Categóricas (Dummies)¶

4.2 Split dados¶

4.2.1 Estático¶

4.3 Feature Engineer - II¶

4.3.1.Balanceamento de classes¶

4.4 Avaliação de Multicolinearidade¶

5. Seleção de Algoritmos¶

5.1 Algoritmos de Classificação¶

6. Conclusões¶

Questão 3¶

Análise de Dados do Online Retail II Data Set from ML Repository¶

1. Carregar o Dataset¶

2. Análise Exploratória de Dados¶

3. Seleção de Variáveis para ANOVA¶

4. ANOVA: Comparação de Preços Médios¶

5. Validação dos Pressupostos¶

5.1 Normalidade¶

5.2 Homogeneidade das Variâncias¶